12,499 文字
ほな、ちょっと思い出してもらうために、ざっと説明させてもらいますわ。今週の木曜日は授業ないんですけど、これが唯一の木曜休みになりますからね。
ほんじゃ、始めさせてもらいますわ。今日は解釈可能性について少し話をしていきます。まずは数学的なセットアップから入っていきましょか。
正直なところ、解釈可能性で目指すものが分かれば、数学的な部分はそれほど難しくないんですわ。だから、解釈可能性で何を意味しているのか、十分に時間をかけて説明していきます。
さて、モデルがあるときに何があるかって考えてみましょか。データがあって、それを数学的なモデルに入れるわけですわ。今は単にmって呼びますけど、これから数回の講義で集中的に扱う特定の形を取ることになります。
頭の中では、これがニューラルネットワークだと思ってもらえばええんです。ReLU活性化を持つニューラルネットワークについて多く話してきたので、それを念頭に置いてください。
ほんじゃ、そういうものの簡単な説明を図で描いてみますわ。これらがニューラルネットワークのニューロンを表していて、これらが結合やシナプスをモデル化しているんです。
データがあって、モデルがあるわけですね。そこで、モデルがデータに対して何をしているのかを解釈するために何が必要かというと、まず最初に必要なのは、一般的にアラインメントと呼ばれるものです。
これは、ニューロンまたはより一般的にはモデルの計算ユニットと、人間が解釈可能な概念とのアラインメントを指します。ニューラルネットワークの場合、基本的な計算ユニットはニューロンと考えることができます。
人間が解釈可能な概念というのは、まさにあなたが考えているような、人間が distinct な考えとして認識するようなものです。例えば、「ふさふさの耳」とか「賢そう」とかいった概念ですね。
アラインメントって何を意味するかというと、データセットの中のある一つのデータポイントXがあったときに、Xに対して反応するニューロンが、まさにXに存在する概念に対応しているということです。
つまり、各ニューロンが人間が解釈可能な概念に対応していて、その概念がデータに存在する場合にのみニューロンが活性化するということです。
もう少し形式的に言うと、ニューロンと概念の間に1対1の対応関係があるということです。ニューロンが活性化する、つまり「点灯する」のは、その概念がXに存在する場合のみです。
例えば、このニューロンが「ふさふさの耳」という概念に対応していて、このXがダルメシアンの写真だとすると、このニューロンが活性化します。そして、このXにふさふさの耳がある場合にのみ活性化するわけです。
これが、ニューロンと概念とデータの間のアラインメントについての非公式な説明です。ほんじゃ、もう少し形式的にしていきましょか。
モデルの解釈可能性について理想的なシナリオ、あるいは解釈可能性の出発点として言えるのは、標準的な、あるいは特権的な基底ベクトルが存在するということです。
通常、このモデル自体は高次元のベクトル空間で表現されていて、ニューロンはこの大きなベクトル空間の基底ベクトルに対応しています。
ReLUニューラルネットワークを考えるときには少し混乱するかもしれませんが、層があってそれらが互いにマッピングされているわけですね。でも、ここでRNと言っているのは、すべての層の直和を取って、それらの間にマッピングがあるという意味です。
重要なのは、これらの各ニューロンが、モデルを指定するこの大きなベクトル空間の基底ベクトルを実際に指定しているということです。
標準的または特権的な基底ベクトル、つまりモデルの計算ユニットが、概念と全単射の対応関係にあるということです。
特に、フィードフォワードニューラルネットワークのことを念頭に置いていると言いましたね。そういうものを書き下してみましょう。
こんな感じです。層があって、入力層、出力層、そして複数の隠れ層があります。
概念との全単射の対応関係があるということは、特に、l層のi番目のニューロンが概念c_l_iに対応しているとすると、z_l_iはそのニューロンの事前活性化出力を表します。
以前の表記を使うと、これらの各層は線形変換と要素ごとの活性化関数の組み合わせですね。特定の層にマッピングして、活性化関数を適用する前の出力、つまりそのニューロンの特定の成分への射影を見ることができます。
これが、l層のi番目のニューロンの事前活性化出力です。私たちが望んでいるのは、概念とデータの間にもこのアラインメントがあるということです。
つまり、この事前活性化の符号、つまりニューロンがデータポイントxで活性化しているかどうかが、その概念がデータポイントに存在しているかどうかを示すということです。
さらに、活性化の強度が概念の存在の強度に対応するということです。言い換えると、2つのデータポイントがあって、このニューロンの事前活性化出力を見たときに、一方が他方より大きいとします。
両方とも活性化されているけど、一方がより大きいとすると、「x2の方がx1よりもその概念がより強く現れている」とか「x2の方がx1よりもその概念がより顕著に現れている」といったことが言えるわけです。
ここで何をしようとしているのか、分かりますか？ つまり、すべてが線形で、その線形構造が人間が解釈可能な何かとアラインメントしているという希望があるんです。これが、少なくとも最初のアプローチとして、これらのモデルの解釈可能性を理解しようとする際の希望なんです。
ほんじゃ、これに名前を付けましょか。上で説明した理想的なシナリオは、よくニューロンが「モノセマンティック」、つまり単一の意味や解釈可能な意味を持つと表現されます。
正直なところ、本当にモノセマンティックなモデルが存在すると信じている人がどれくらいいるのか分かりません。でも、少なくとも十分に近いものが存在すると信じて、それを基に研究を進めている人は多いと思います。
最初に言っておきますが、実世界のモデルはモノセマンティックだとは考えられていません。モデルをトレーニングして、特権的な基底ベクトル、つまりネットワークの特定のニューロンが何か意味を持つかどうかを見ようとしても、おそらくそうはならないでしょう。
なぜかというと、その特定の基底に特別な意味はないからです。すべてを記述するのに使っている基底が特別だと信じる理由はないんです。
これが最初のポイントです。特権的な基底が特別な意味を持つと信じる理由はありません。多くの場合、そして後で見ていきますが、冗長性は、活性化関数とうまく機能する基底を変更する標準的な方法があることから生じます。
別の基底を得て、モデルはまったく同じになります。モデルが計算する関数はまったく同じになるんです。
でも、それはさておき、基底の変更を許可したとしても、まだそうだとは考えられていません。実際には、これはより経験的な証拠だと思いますが、通常、モデルの計算で使用される概念の数は、全体の空間の次元、つまりニューロンの数よりも多いんです。
さらに、概念は互いに干渉し合うことが観察されています。
はい、どうぞ。
（学生の質問: 例えば、猫と犬を識別しようとするネットワークは2つの概念を持っているのではないですか？）
そうですね、猫と犬を識別しようとしていますが、その識別を行うために途中でもっと多くの概念を使用しているという考えです。例えば、毛の質感や目の位置などを識別しているかもしれません。
はい、私たちの用語を使うと、実世界のモデルのニューロンは「ポリセマンティック」であると言われています。
ここまで言ってきたことのすべてではありませんが、多くのことは非公式なものです。なぜなら、これまでの文献の多くの議論が非公式で、主に経験的証拠に基づいており、理論にはあまり基づいていないからです。
これはすべて、今日の残りの時間で話したい「重ね合わせ仮説」の背景です。重ね合わせ仮説は、実世界のモデルからモノセマンティックな、あるいは解釈可能なモデルを回復する方法を理解するための一つの方法と考えることができます。
重ね合わせ仮説は、そのようなものを得るための推測となる数学的フレームワークです。
ところで、モノセマンティックなモデルを「分離された」モデルと呼ぶこともあります。概念とニューロンの間にこの素晴らしい分離があり、アラインメントがあるという意味です。そして、これらの実世界のポリセマンティックなモデルを「絡み合った」モデルと呼ぶこともあります。
重ね合わせ仮説について説明する前に言っておきたいのは、これらの素晴らしい基底ベクトルが1対1に対応することを望む理由です。それは単に素晴らしい図を描けるからというだけでなく、概念を互いに区別したいからです。
それを数学的に実装する方法は、ベクトル空間において概念が互いに直交することです。なぜなら、実際にある概念がそのスペースにマッピングされたベクトルに存在するかどうかを判断する方法は、その概念との内積を取ることだからです。
2つの概念が直交していない場合、第3のベクトルとの内積を取ると、それらが同じ方向を向いていれば、それらの内積は相関します。しかし、直交していれば相関しません。
私たちが本当にしたいのは、これらの概念をある種のワンホットエンコーディングしたスペースを作ることです。
しかし、実際には、現実世界ではそれは計算量的に激しすぎるでしょう。100万個の異なる概念を持つ巨大なベクトル空間があれば、計算に膨大な時間がかかってしまいます。
常に計算を迅速に行う必要があるという点があります。だから、本当にしたいのは、この巨大な空間を取り、それをより小さな空間に圧縮することです。これがバックグラウンドにある別の点です。
手を振るだけでなく、重ね合わせ仮説の背後にある重要な数学的アイデア、あるいは重要な数学的事実について話しましょう。後日詳しく説明しますが、少なくともアイデアを伝えたいと思います。
それは Johnson-Lindenstrauss の補題と呼ばれるものです。形式的には述べませんが、基本的に言っているのは、特にnが大きくなるにつれて、RNの中に多数のほぼ直交（ε-直交）ベクトルを持つことができるということです。
RNの中には最大でn個の互いに直交するベクトルしか収まりませんが、nが非常に大きくなると、ε-直交（内積の絶対値がεより小さい）ベクトルの数は、nに対して指数関数的に増加します。
言い換えると、次のような問題を解こうとしていると想像してください。RNの中からP個のベクトルを選び、それらをある行列Vの列とします。Vの転置とVの積がほぼ単位行列になるようにします。
つまり、V転置Vの対角成分は1（Vの列のノルムが1）で、非対角成分は小さい（ε未満）ということです。
Johnson-Lindenstrauss の補題は、Kの大きさ、つまりこの行列のサイズが、nに対して指数関数的に増加することを教えてくれます。これは驚くべき事実ですが、高次元空間にほぼ直交するベクトルを詰め込もうとすると、それほど信じがたいことではありません。
高次元空間の幾何学は非常に興味深く、直感に反するものです。実際、高次元空間でベクトルのペアをランダムに選ぶと、ほぼ確実に非常に小さな内積を持つことになります。
後でもっと詳しく説明しますが、今のところは高次元空間が幾何学的に興味深いということを信じてください。干渉が少なく多くの圧縮が可能だと考えるべきです。つまり、これらの実世界のモデルは、干渉（何を意味するにせよ）をあまり起こさずに、はるかに高次元の空間の計算を実際に行うことができるのです。
ほんじゃ、重ね合わせ仮説を慎重に述べていきましょう。正直なところ、様々な意味を持つ可能性がありますが、ここではフィードフォワードReLUニューラルネットワークのクラスに対して特定の方法で述べます。
後でより一般的な状況に対して別の方法で述べるかもしれません。また、最近の数回の講義でTransformerについて話してきましたが、これらはTransformerのMLP部分であることも覚えておいてください。
Transformerには埋め込み層、注意層、そしてMLPがありますが、実際にはMLPがネットワークのパラメータの大部分（約2/3）を占めています。つまり、TransformerのこれらのReLUニューラルネットワーク部分で多くのアクションが起こっているのです。
ほんじゃ、フィードフォワードニューラルネットワークに対する重ね合わせ仮説を述べましょう。このようなネットワークが与えられたとします。これをある種の最適化手順で得た単一の関数だと想像してください。
訓練された実世界のモデルが与えられたとき、重ね合わせ仮説は、より高次元の分離されたモノセマンティックなモデルが存在すると仮定します。これが絡み合った実世界のポリセマンティックモデルです。
また、対応するマップも存在し、さらに各層で前後にマッピングできます。これらを復号化マップ、これらを符号化マップと呼びます。
絡み合った実世界のモデルが与えられたとき、同じ計算を行うより高次元の分離されたモデルが存在するということです。おそらく各層でも同じ計算を行うことを望むでしょうが、仮説をどれだけ厳密にしたいかによって、様々な点を緩和することができます。
まず、すべてを書き下してみましょう。各層lに対して、DlとElを符号化・復号化マップと呼びます。重要なのは、RN1からRNlの特権的な基底要素が、人間が解釈可能な概念c_tilda_l_iに射影的に対応するということです。
また、この計算は、まず上にマッピングし、横にマッピングし、そして下にマッピングすることで実行できます。
各層に対して、あるいは明らかな方法で全体のマップに対して緩和することもできます。また、ある種のεエラーまでの精度で成り立つように緩和することもできます。
特定のデータセットに対してのみ成り立つように緩和することもできます。様々な言い方ができますが、重ね合わせ仮説の最も厳密なバージョンは、全空間で正確に機能するというものです。
また、人間の概念と射影的に対応するより大きな次元の空間に埋め込んでいますが、元の各空間はかなり広いですよね。例えば、小文字のnは250以上の次元を持つことがあります。これはどの程度人間が解釈可能なことを目指しているのでしょうか？次元を上げることで問題をより難しくしているように見えます。
（学生の質問に対する回答）
なるほど、言っていることは分かります。すでにモデルが非常に大きくて、これが必要ではないかもしれないと思っているんですね。
でも、それでも必要だと考えられているのは、識別しようとしている特定の概念をかなり正確にしたいからです。
ネットワークが特定の概念に対してどのように機能するかを見て、それを追跡したい場合、すべてを一度により大きな空間に埋め込むよりも、これの方が有用かもしれません。
質問に完全に答えられているか分かりませんが、基本的な考え方としては、人々はTransformer言語モデルを取り、ニューロンを見て、どれが異なるタイプのデータで活性化するかを見ようとしています。
例えば、データがHTMLコードやPythonコードだとします。そのデータに対して、たった1つのニューロンが活性化することを望んでいます。それは起こらないでしょうが、十分に分離されたモデルを得れば、実際にPythonコードに対してのみ活性化するニューロンを識別できるかもしれません。
さらには、特定のタスクを行うPythonコードだけでなく、もっと具体的なものかもしれません。
正直なところ、私はただ数学的なアイデアを説明しているだけです。このアイデアを使ってTransformerのようなものが何をしているかを解釈しようとする実際の作業は、数学的モデルが示唆するよりもはるかに厄介です。
でも、これは有用なアイデアだと思います。少なくともいくつかのチームにとっては、Transformerの解釈を考える上で有用だと証明されています。
最後に言いたいのは、データポイントがあって、それを分離されたネットワークに上にマッピングし、それから横にマッピングするということです。これがZ_tilda_l_i(X)で意味することです。
これが0より大きいときにのみ、この概念が存在するか活性化しているということを望んでいます。
セットアップについて質問はありますか？数学的なセットアップについて。
では、残りの時間で、Anthropicのチームが使用した、この考えを使った非常に単純な最初のアプローチについて説明します。
彼らは仮説的な分離されたネットワークでモノセマンティックなニューロンを発見しようとしました。これは、実際に彼らが行ったことよりも単純に聞こえますが、基本的な数学的アイデアは非常に単純です。それを説明しますが、その背後には多くのエンジニアリングがありました。
この手順の詳細を説明する前に、辞書学習が何を意味するのか少し話したいと思います。これらすべてがより大きな文脈に当てはまることが重要だと思うからです。
本質的に彼らは何をしようとしているのでしょうか？実際には、この実世界のモデルがあって、彼らが学習しようとしているのは各層の符号化マップと復号化マップです。
彼らはこれらのマップを学習するためにかなり単純なアルゴリズムを使用しました。基本的にランダムな高次元を選び、これらのマップの形を推測しました。
そして、これらのマップのパラメータを学習するために、本質的に別の小さなReLUネットワークをトレーニングしました。
でも、まず疎な辞書学習について少し説明させてください。
あ、それと、前に言い忘れたことがあります。これは実際にかなり重要なことです。任意の計算に対して、おそらく使用する概念の数は、総概念数に対して実際に小さいだろうということです。
これは少しSophiaが質問していたことに戻りますが、考え方としては、任意の計算に対して、それをこの分離された空間に持ち上げると、計算中に実際には少数の概念だけが点灯するだろうということです。
これが、次に言うことの背景にあるものです。
ここに辞書学習の基本的なセットアップがあります。Xをある空間のベクトルとします。通常、これを信号と呼びますが、実際にはモデルのある層でのデータポイントの像だと考えるべきです。
本当にしたいのは、Xをある固定された有限のベクトル集合に対して疎に表現することです。
Xが辞書Dに対してsスパースなεー近似を持つとします。ここで、DはRdのn個のベクトルを表します。Dの列は辞書の原子と呼ばれます。
求めているのは、XがこれらのうちちょうどS個の線形結合に近いということです。
幾何学的に考えると、Rdの中にこれらのn個のベクトルがあり、Xがこの集合のサイズsの部分集合で張られるs次元部分空間に近いということを求めているんです。
辞書Dに対して、Dの列のうちs個以下、例えばD1からDsがあって、Xがこれらのs個の列の張る空間からε以下の距離にあるということです。
同じことを有限のデータ集合Xに対して尋ねることもできます。M個のデータ点、εが0より大きく、スパース度レベルsがあるとします。
一般的な疎な辞書学習問題は次のようになります。有限のデータ集合とスパース度レベルsから始めて、NL個の原子を持つ辞書を学習します。
これらは仮説的な分離されたネットワークの特権的基底の射影になります。実際に学習しているのはこれらの原子です。
すべての列xiに対して、Dの列の部分集合が存在し、xiがそれらの列の張る空間にε近いという性質を満たすものです。
これが、Anthropicが彼らのアルゴリズムで解こうとしている（厳密に解くことを保証しているわけではありませんが）疎な辞書学習問題です。
疎な辞書学習について一般的な注意をしておきましょう。まず明らかな注意点として、ベクトル空間の次元、つまり辞書の原子の数をデータセットのサイズと同じにすると、この問題は自明になります。
なぜなら、Xを辞書Dと等しくすれば、各xiに対して1スパースな表現が得られるからです。これはつまらないケースです。
より興味深いのは、NLをMより小さくすることです。そうすると、これはNP困難な問題になります。
ただし、古典的なアルゴリズムは存在します。これは実際に圧縮センシングと呼ばれる、非常に興味深い数学的な分野に関連しています。
一般的にNLを事前に固定することはありません。データセットがあって、そのサイズと、それがサンプリングされた確率分布について何か知っているとします。
そして、あるスパース度レベルを固定して、これができるかどうかを見たいかもしれません。
アルゴリズムは存在しますが、超効率的というわけではありません。
では、Anthropicの実験セットアップの簡略版を説明しましょう。最先端の研究では、これらの問題を解決したという保証はなく、ただこのようなことを行おうとするアルゴリズムを構築しようとしているだけだということを見てほしいんです。
彼らは原子最適化器を使用しました。これは確率的勾配降下法の一種だと考えてください。L1正則化損失を使用したスパース性を促進する勾配ベースの最適化アルゴリズムです。
基本的に彼らが行っているのは、各層に対してこれを構築することです。これが絡み合ったモデル、これが分離されたモデル、これが仮説的な分離モデルです。
これが出発点で、十分に大きなNLを推測し、これらのマップの形を推測しようとしています。
彼らが選んだ形は、非常に単純な1つの隠れ層を持つReLUネットワークです。Eは要素ごとのReLUを持つアフィン線形マップで、DLは単なるアフィン線形マップです。
この特定のセットアップには特別な名前があります。これは「過完備疎オートエンコーダー」と呼ばれます。
実際にMLモデルを扱ったことがあれば、おそらく過完備ではなく不完備なオートエンコーダーを扱ったことがあるでしょう。
この空間の次元がこれらの空間の次元よりも大きいものを見るのは面白いですね。通常、オートエンコーダーでしようとしているのはPCAのようなもので、データの次元を減らそうとしています。
ここにボトルネック層を置いて、恒等関数を学習するようにトレーニングします。
もう少しゆっくり説明しますが、本質的にここでも同じことをしています。ここでのポイントの出力が、できるだけ元の位置に近くなるようにしています。
適切な損失関数を選ぶことでそれを行い、スパース性を促進するために正則化項を加えています。
これは古典的な半教師あり学習、あるいは自己教師あり学習の問題です。アイデアとしては、トレーニングするM個のデータ点があり、それらにラベルはありません。
このセットアップで行おうとしているのは、EとDLのマップを見つけて、その合成がこれらの点を自分自身に近づけることです。
これが、恒等関数を学習しようとしていると言ったことの意味です。恒等関数の分解を学習しようとしていますが、このデータセット上でのみです。
最初にオートエンコーダーについて聞いたとき、私には本当に奇妙に思えました。なぜなら、より低次元の空間を通してマッピングするときに、どのように恒等関数を学習できるのかが分からなかったからです。
明らかに、線形マップだけを考えているなら、恒等関数の分解は得られません。単純化のために、今は線形マップだけを考えています。ReLUはより複雑ですが、今のところ線形マップだけを考えましょう。
高次元空間を低次元空間に射影し、その空間を高次元空間に戻す埋め込みを行うことしかできません。
しかし、ポイントは、データがすでに低次元空間に近いことを期待しているということです。そうすれば、それを行ってもデータをそれほど動かさないでしょう。
非線形性があれば、それも助けになるかもしれません。線形ではないが、興味深い幾何学を持つ低次元の対象に近くなる可能性があります。
この設定では、より高次元の空間にマッピングしているので、実際には恒等関数を分解する方法はたくさんあります。
データに関係なく、スパース性を課すことで物事が少し難しくなります。
主に非公式なことを言っていますが、うまくいけば、私たちが何をしようとしているのかを理解するのに役立つでしょう。
データセット上で恒等関数の分解を学習しようとしています。ELとDLのベストなパラメータを見つけて、全体の平均二乗距離を最小化しようとしています。
XIにELとDLを合成したときに、XIにかなり近くに着地することを確認しようとしています。これが、正則化されていない損失です。
正則化するということは、結果にどれだけ影響を与えたいかに応じてスケールアップダウンできる追加の項を加えるということです。
それが大きくなりすぎると、パラメータが別の方向に向かうように促します。
この高次元空間でのエンコードされたマップのスパース性を促進するために正則化します。
λという0より大きい実数を加えます。これが正則化パラメータです。スパース性をどれだけ促進したいかに応じてスケールアップダウンできます。
彼らが加えた項は、XIのリフトのL1ノルム、つまり絶対値の和のようなものです。
これを上げると、最小化の最適化問題はよりスパース性を促進し、下げるとそれを減らします。これがアイデアです。
これはすべて、保証はありません。彼らが行ったのは、うまく機能したプロセスです。それがsスパースな解やsスパースな辞書を与えるという保証はありませんでした。
最後に言っておきたいのは、線形マップDLの列（実際には線形マップで、ReLUネットワークではありませんでした）が辞書だということです。
これらは特権的基底の像です。そのスパース度レベルは本当には分かりませんが、少なくともこれは絡み合ったモデルの辞書です。
そして2つ目に言いたいのは、このセットアップは上の空間でのスパース性を促進していますが、保証はしていないということです。
今日はここまでにしておきます。ご清聴ありがとうございました。質問があれば喜んでお答えします。
（学生からの質問）
代数幾何学の専門家ではないので、この形式主義でポリセマンティックまたはモノセマンティックに直接的なアナロジーがあるかどうかについて、より詳しく説明できますか？この現象をよりよく理解するために、形式主義の力をより活用できるような正確なマッピングやアナロジーは見られませんでした。今回の講義の多くは、実践者の分野が見てきたことを基本的に説明しているように思えます。
（回答）
そうですね、実際には、モノセマンティックやポリセマンティックという言葉が意味することは、誰に聞くかによって様々かもしれません。
ここで紹介したのは、一部の人々がそれらの言葉で意味していると私が信じているものを理解する一つの方法に過ぎません。
これはおそらくあなたの質問に答えていませんが、少なくとも私にとって真実だと思うことを言っています。文献を読むとき、誰が何を言っているのかを理解するのが本当に難しいと感じます。
なぜなら、誰も正確に何を言っているのか明確にしていないからです。これらの概念について非公式に話しているだけなんです。
Anthropicのブログで説明されていた方法は、少なくとも彼らが言っていることに近いと感じられる何かを抽出でき、実際の数学的な記述になっていると感じました。
だから、基本的にここで私たちが試みているのはそういうことです。
（学生からのコメント）
ポリセマンティックの概念、あるいは今混乱していますが、基本的にここでのアイデアは、概念を構成要素に分離するモデルを導入したいということですよね。
あなたが指摘したように、これは経験的な事実として、入力データ、つまり取り込む言語のコーパスに依存しています。
そのため、数学のような形式言語を取り込んだ場合、もっと規則性が見られると予想されます。数学の異なる言語、代数や解析などの間で、概念が似たようなタイプのニューロンにマッピングされるでしょう。それとも、これは質問するには漠然すぎますか？
（回答）
本当にそうかどうかは分かりませんが、少なくとも数学者が数学について話すときは、平均的な人が数学以外のことを話すときよりも、はるかに分離された方法で概念について話すだろうと推測します。
数学者が非常に得意なことの一つは、任意の特定の概念によって何を意味しているのかを正確に述べることです。
世界に出てその概念を他の人に説明しようとするとき、本質的に私が感じるのは、自分の脳内の仮説的な分離されたニューロンと相手の脳内のニューロンの間に何らかの全単射を作ろうとしているということです。
しかし、そのプロセス自体もかなり難しいです。
一般的に、実世界のモデルが実際に絡み合っているというこの概念が重要だと思います。なぜなら、概念が絡み合うという経験的事実を表現しているからです。
つまり、あなたが何かによって意味することは、他の人が同じことで意味することとは少し異なるかもしれません。
まあ、ほとんど適当なことを言っているだけですが、あなたが考えたことの多くについて私も考えたことがあると思います。
（学生のコメント）
分かりました。もっと正確に述べて、Zulipアプリに投稿してみます。本当にありがとうございました。とても洞察に満ちた内容でした。
（別の学生からの質問）
エリー、この内容について、何が起こっているのかを理解するのに役立つおもちゃのモデルはありますか？低次元のものでも構いませんが、適切に選ばれていて、言いたいことを示し、見たいことを見ることができるようなものです。
（回答）
確かにそういったものはあると思います。最後にリンクしたブログ記事にある例を見てみるといいかもしれません。
正直なところ、私自身は具体的な計算を行ったわけではありません。なので、あなたが自分で試してみるのがいいかもしれません。
様々なパラメータに対して適切な数値を知っていれば、何が起こっているかの適切な概要を得るのに役立つかもしれませんが、私には具体的な計算結果はありません。
あなたが行うことは、おそらく私にとっても新しいものになるでしょう。
（学生）
分かりました。ありがとうエリー。
コメント