AIのスケーリングが壁に直面？噂の真相を探る

3,229 文字

最近、OpenAIのサム・アルトマンが人工知能はまもなく物理学の全てを解決すると言っていましたが、私はそうは思いません。実際、最近のAIの進展は思わしくありません。簡単にまとめてみましょう。
「この技術について重要だと感じているのは、私たちが指数関数的な曲線上にあり、しかもその傾きが比較的急だということです」
これは昨年のサム・アルトマンの発言です。9月に発表した「The Intelligence Age（知性の時代）」というエッセイの中で、彼は「AIはスケールとともに向上する」と自信を持って書き、「数千日以内に超知能が実現する可能性がある。もっと時間がかかるかもしれないが、必ず到達すると確信している」と述べています。
数週間前、彼は物理学者はすぐに不要になると結論付けました。「最終的に物理学のあらゆる問題を解決するだろう」と。
物理学者を追い落とそうとしているのは、テクノブロ（技術系の兄貴分たち）の中で彼だけではありません。数ヶ月前に「テクノオプティミスト宣言」を書いたマーク・アンドリーセンを覚えていますか？彼は「水は温かい」と言いました。
彼も物理学について考えを持っています：
「これらのシステムに十分なデータと処理サイクルを与え続ければ、最終的に完全な内部世界モデルを進化させるでしょう。そう、物理学の完全な理解を持つようになるのです。」
このAI能力の向上への信仰は広く浸透しています。
ここではAnthropicのCEO、ダリオ・アモデイの言葉があります：「根本的な観点から、私個人としては、スケーリング則が単に止まってしまうということはほとんどありえないと思います。」
そして、もちろんレオポルド・アッシェンブレナーもいます。彼は2027年頃までにAIが超人的知能に達すると考えています。
現実は異なります。1週間前、OpenAIの従業員の何人かが内部情報を「The Information」というメディアにリークしました。OpenAIは現在、Orionと呼ばれる新しいモデルを訓練中ですが、The Informationによると「社内の研究者の中には、Orionが特定のタスクにおいて、その前身よりも確実に優れているとは言えないと考えている者もいます…Orionは言語タスクでは性能が向上していますが、コーディングなどのタスクでは以前のモデルを上回れない可能性があります。」
ロイターの報道によると、彼らだけがこの問題に直面しているわけではありません。イリヤ・サツケバーは最近ロイターに対して「事前学習—大量のラベルなしデータを使用して言語パターンと構造を理解するAIモデルの訓練フェーズ—のスケールアップによる結果は横ばいになっている」と語りました。
ブルームバーグによると、Googleも同じ問題に直面しています。「この件に詳しい3人の情報筋によると、次期Geminiソフトウェアが社内の期待に応えていない」とのことです。
X（旧Twitter）ではさらなる噂が飛び交っています。「フロンティアラボの1つ（正直OpenAIではない）からリークを聞いた。予期せぬ巨大な収穫逓減の壁に突き当たった…」サム・アルトマンは「壁なんてない」と主張しています。
アルトマンの楽観主義の理由は、現在の大規模言語モデルにはまだいくつかの最適化の余地が残されているからでしょう。これはアッシェンブレナーが「足かせを外す」と呼ぶものです。例えば、最新のGPTのように、これらのモデルに回答を反復させ、それについて「考える」ようにさせることは大きな改善となっています。
とはいえ、より多くのデータでスケールしないのであれば、これは単に問題を先送りにするだけでしょう。
この状況を本当に喜んでいる唯一の人物は、何年も前からこれを予測していたゲイリー・マーカスのようです。Metaのヤン・ルカンとビル・ゲイツもこれについて推測していました。私は喜んではいませんが、驚いてもいません。
私はまた、なぜこれらのAI関係者がこれが機能すると考えているのか、本当に不思議に思っています。その理由の一部は、おそらく投資家にそう信じてもらう必要があるからでしょう。しかし、それは彼らが物理学を理解していないからだと考えるようになりました。
昨年OpenAIを去り、自身のAI企業を設立したイリヤ・サツケバーのインタビューを聞いてください。
「次のトークンをうまく予測することは、そのトークンの生成につながった基礎的な現実を理解していることを意味します。これは単なる統計ではありません。統計ではありますが、統計とは何でしょうか？これらの統計を理解し、圧縮するためには、この統計の集合を生み出す世界の本質を理解する必要があります。」
これは非常に興味深いと思います。なぜなら、何が間違っているのかが簡単に分かるからです。彼は、より高次の創発レベルから基礎となる現実の法則を導き出せると考えているようです。
AIの場合、物理的な世界モデル（これが基礎となる現実です）を、創発レベル（つまり、言葉や場合によっては動画、いずれにせよ人間が生み出したデータ）から再現しようとしています。
しかし、これが一般的には機能しないことを私たちは知っています。創発レベルの背後にある法則を一般的に導き出すことはできません。
ちょっと考えてみてください。もしそれが可能なら、なぜアリストテレスは快適な椅子に座って手を眺めているだけで素粒子物理学の標準模型を導き出せなかったのでしょうか？なぜ私たちは巨大な粒子加速器を建設してそれを達成しなければならなかったのでしょうか？それは、演繹だけでは限界があるからです。その先には、よりよいデータが必要になります。
物理学ではこれを「スケールの分離」と呼びます。私は、現実とその現実の記述の間にも同様の「スケールの分離」があると予想しています。動画や画像を使用したとしても、これらは実世界の非常に限られた表現に過ぎません。この行き詰まりを打開するには、AIを訓練するための実世界のデータが必要です。そして、それは到底十分な量がありません。
これまでかなりの数のAI関係者から、データは問題ではないと言われてきました。つまり、彼らは私が間違っていると思い、私は彼らが間違っていると思っているわけで、どうなるか見てみましょう。しかし私にとって、より多くのデータで大規模言語モデルを訓練することは、ジムに行くようなものです。ある時点で、重りを追加しても強くはならず、ただ重いものを足の上に落とす可能性が高くなるだけです。
人工知能は今や本当にどこにでもあります。ニューラルネットワークや大規模言語モデルがどのように機能するかについてもっと学びたい場合は、brilliant.orgのコースをチェックすることをお勧めします。
Brilliantは科学、コンピュータサイエンス、数学の幅広いトピックについてのコースを提供しています。すべてのコースにはインタラクティブな視覚化とフォローアップ質問が含まれています。
実行可能なPythonスクリプトや、小さなデモ実験を含む動画があるものもあります。大規模言語モデルについてもっと知りたい場合でも、量子コンピューティングについて知りたい場合でも、Pythonでのコーディングを学びたい場合でも、コンピュータメモリの仕組みを知りたい場合でも、Brilliantがカバーしています。そして毎月新しいコースが追加されています。
もちろん、このチャンネルのユーザーのために特別なオファーがあります。brilliant.org/sabineのリンクを使用すると、Brilliantが提供するすべてのものを30日間試すことができ、年間プレミアムサブスクリプションが20%オフになります。ぜひチェックしてみてください。
ご視聴ありがとうございました。また明日お会いしましょう。