3,226 文字
AIをこよなく愛する皆さん、新しい動画へようこそ。今日は、かなり話題になった考え方について探っていきたいと思います。それはプラトン的表現仮説というものです。はい、あのプラトンですよ。
この仮説は一体何なのか、説明していきましょう。様々なタスクをこなすために訓練される人工ニューラルネットワーク、つまりAIモデルが、世界を似たような方法で表現し始めるということを想像してみてください。つまり、データを構造化し理解する方法が、ある種の普遍的なビジョンに収束していくということです。
この動画では、なぜこの収束が起こる可能性があるのか、それは単なる偶然なのかを理解しようと思います。もちろん、この仮説はかなり議論を呼んでいるので、反対意見についても見ていきましょう。
学校で哲学の授業を受けた方なら、プラトンの洞窟の比喩を覚えているかもしれません。洞窟に閉じ込められた人々が、外の世界を壁に映る影を通してしか見ることができないという話です。プラトンは、これらの影が現実に対する私たちの限られた認識を表していると示唆しています。
今日の論文の著者たちは、この考えを使って、AIモデルを訓練するために使用されるデータがこれらの影のようなものだと説明しています。様々なタスクと膨大なデータセットで訓練された大規模モデルは、この洞窟から出始め、徐々により正確で完全な外部現実の表現を発見していくというわけです。
本題に入りましょう。図1を見てみると、画像Xと文章による説明Yという二つのモダリティが、共通の根底にある現実Zの投影であることを示しています。プラトン的表現仮説は、大規模AIモデルがこの現実の普遍的な表現、つまりZの近似値に収束すると主張しています。モデルが大規模になり、データとタスクの面で多様化すればするほど、この収束はより顕著になるとされています。
この仮説をより詳しく検討してみましょう。この収束は本当に起こっているのでしょうか？もし起こっているとすれば、どのように測定できるのでしょうか？その意味するところは何でしょうか？そしてなにより、この仮説は本当に興味深いものなのでしょうか？
シートベルトを締めてください。科学の哲学、分散表現、サイバネティクス、急進的構成主義、そしてトルストイについて一緒に探っていきましょう。
AIモデルはどのようにデータを表現するのでしょうか？この質問に答えるために、表現とは何かを考えてみましょう。果物のカテゴリー（リンゴ、バナナ、オレンジ、パイナップル）を表現したいと想像してください。最も単純な方法は、一つの位置だけが1で、他が0のベクトルで各果物を表現することです。
例えば、リンゴは1000、バナナは0100、オレンジは0010、パイナップルは0001となります。このタイプの表現をワンホット表現と呼びます。一つの位置だけが活性化されているからです。この場合、カテゴリーごとに一つのユニット（ニューロンなど）だけが活性化されます。これはスパース表現とも呼ばれます。ベクトルのほとんどの成分がゼロ（ヌル）だからです。
もちろん、この方法には限界があります。ワンホット表現ではカテゴリー間の類似性を捉えることができません。例えば、リンゴとオレンジはこの表現では何の関係も持ちません。これではニューラルネットワークが一般化できません。なぜなら、一つのカテゴリーについての情報を別のカテゴリーに伝播できないからです。
ベクトル空間では、各果物は他の果物から等距離にある孤立した点となります。リンゴはバナナからもオレンジからも同じ距離にあることになります。これらの果物の間に類似点があるとしても（例えば、オレンジとリンゴはどちらもほぼ球形です）です。
このため、私たちの可哀想なAIモデルは、あるカテゴリーで学んだ情報を別のカテゴリーに転用することができません。つまり、モデルは例の間で共有される特徴を使って学習を改善することができないのです。
私たちが望むのは、これらの表現が類似性を符号化し、ベクトル空間の各次元が特定の特徴、つまり与えられた果物の間で共有される特徴を表現することです。ベクトル空間では、似たような特徴を持つ類似した表現は互いに近くになります。
例えば、リンゴとオレンジは形の次元で近く、パイナップルとバナナは熱帯性の次元では近いけれども、形の次元では遠くなるというわけです。
これらの表現では、各果物は複数の次元が活性化できるベクトルで表現され、各位置は連続的な値を持つことができます。先ほどの例を取り上げると、リンゴは[0.85, 0.1]、バナナは[-0.9, 0.8]、オレンジは[0.75, 0.7]というベクトルで表現されるかもしれません。
この次元空間を表現空間と呼びましょう。このタイプの表現を分散表現と呼びます。情報が複数の次元に分散されており、一つのカテゴリーに対して複数のユニットが活性化されるからです。
これらの表現により、AIモデルは学習をより簡単に一般化できます。実際、学習したことはすべて、表現空間で近い実体に転移できます。リンゴが形のために転がり、作業台から落ちる可能性があることを学習したら、オレンジにもその予測を一般化できます。なぜなら、オレンジとリンゴは形の次元で近いからです。
では問題が生じます。このような表現をどのように学習するのでしょうか？もちろん、手作業で直接作成することもできますが、どの特性がタスクを遂行するのに効果的かを知ることは難しく、さらに重要なことに、表現を作成するたびに人間の助けを借りたくないのです。
つまり、非常に高次元である可能性のあるデータの分布の形を知らないのです。そして、私たちの観察を単純に要約できる本質的な情報を抽出できることこそが、AIの目的なのです。
したがって、私たちが望むのは、監督なしでデータから抽出され、システムによって自動的に構築される表現です。例えば、モデルに画像を提供すれば、形と熱帯性の特性を直接抽出できるようなものです。
これにより、分類などのタスクを簡単に学習できます。なぜなら、表現空間がはるかに小さく（次元が少なく）、その空間内で果物が簡単に分離できるからです。
これらの表現は、データから直接学習されるため、より効率的です。そのため、人間である私たちが意識的に記述できないような複雑で微妙な関係を捉えることができます。
これらの表現を学習するために、弱教師あり学習や自己教師あり学習の方法を使用できます。例えば、CLIPのような方法は、画像とその文章による説明に対して類似した表現を作成しようとします。
そのために、モデルに画像とその説明を与え、画像を正しい説明と結びつけることを学習させます。また、対照的な方法と呼ばれる手法を使用することもできます。
モデルにサンプルの破損したバージョンを再構成することを学習させます。例えば、文章から単語を取り除き、モデルに欠けている単語を見つけることを学習させます。ここでは、似たような単語は似たような表現を持つことになります。なぜなら、同じ文脈を共有する単語は似たような意味を持つからです。
もう一つの方法は、有名なオートエンコーダーです。基本的に、入力と同じものを出力として持つことを学習するニューラルネットワークです。
もちろん、このネットワークにはボトルネックがあります。次元を削減するエンコーダーと、このエンコーダーの出力を元の空間に投影するデコーダーです。したがって、エンコーダーの出力は入力の表現ですが、より小さな次元を持ちます。
モデルは、再構築に絶対に必要なものをデータから抽出し、ノイズや不必要なものをすべて取り除くことを学習します。
つまり、分散表現によって、AIモデルはデータ間の類似性や複雑な関係を捉えることができます。この能力こそが、これらを非常に強力なものにしているのです。
コメント