8,908 文字
絶対にあり得ません。私のより冒険的な同僚から何を聞いたとしても、今後2年以内に実現することは絶対にあり得ません。
これはヤン・ルカンの発言で、彼は明確に「2年以内にAGIに到達することは絶対にあり得ない」と述べています。皆さんが「いやいや、これは完全にナンセンスだ」と思う前に、ヤン・ルカンが非常に優れた重要な科学者であることを覚えておいてください。彼はコンピュータが画像を見て、その中のものを認識できるようにする道を切り畳んだ人物です。彼は1990年代初頭に畳み込みニューラルネットワーク（CNN）と呼ばれるものを発明し、その発明が今日のコンピュータが画像を理解する基盤となりました。
つまり、これは単なる一般人ではなく、ジェフリー・ヒントンやヨシュア・ベンジオと共に、多くの人がAIの創始者の一人と呼ぶ人物なのです。他のほとんどの科学者がSF小説の世界だと思っていた時代に、彼らはニューラルネットワークを信じ、開発したのです。この人物は以前、他の誰もが機能しないと言っていた時に、何かが機能すると予測していたことを覚えておいてください。おそらく彼は今回も何かに気づいているのでしょう。
この人物は実際にMetaで働いており、また基本的にコンピュータ科学者のためのノーベル賞とも言えるチューリング賞を受賞しています。この人物が無謀な発言をしているのではなく、むしろ注目し、懐疑的に聞くのを避けるべき人物であると理解する必要があります。確かに多くの企業創業者によるAGIに関するハイプはありますが、この人物は明らかに専門知識を持ち、私たちの中には生まれる前から、この分野にいる人物なのです。
彼の発言の全体を見て、いくつかの点を詳しく検討しましょう。時間が経つにつれて、AIにおける特定のことが単に理解できないため、ヤン・ルカンの発言をより信じるようになっています。彼が言っていることを聞いてみましょう：
「絶対にあり得ません。私のより冒険的な同僚から何を聞いたとしても、今後2年以内に実現することは絶対にあり得ません。フランス語をお許しいただければ、データセンターに天才国家ができるという考えは完全なナンセンスです。絶対にあり得ません。おそらく私たちが持つのは、十分に大量のデータで訓練されたシステムで、合理的な人が尋ねるどんな質問にも答えを見つけるシステムでしょう。それは隣に博士号を持つ人がいるように感じるかもしれませんが、それは隣に博士号を持つ人がいるのではなく、巨大な記憶と検索能力を持つシステムであり、新しい問題に対する解決策を発明できるシステムではありません。それこそが博士号の本質です。」
彼が言っていることの一つで、皆さんが見逃したかもしれないことがあります。彼は「フランス語をお許しいただければ、データセンターに天才国家ができるという考えは完全なナンセンスです」と述べました。ほとんどの方にとってはただの普通の発言に思えるかもしれませんが、私はその正確な文言を含む何かを読んだことを覚えています。
彼が言及しているのは、私がClaudeモデルを開発する会社Anthropicの最高経営責任者であるダリオ・アモデイによるエッセイでのみ見た「データセンターの天才国家」です。ダリオ・アモデイはこの記事/ブログ/エッセイを書き、AIの未来とAIが世界をより良くする方法について話しています。それは「愛と優雅さの機械」と呼ばれ、私はそれについて広範なビデオを作成しましたが、非常に興味深く、AIがどこに行くかを理解するのに役立ちます。
驚くべきことに、彼は実際に強力なAIを「データセンターの天才国家」と呼んでいます。彼が何について話しているのか文脈を理解する必要があります。なぜなら、全体的な問題はデータセンターにAGIを持つことができるかどうかですが、ダリオ・アモデイが実際に何を言っているのか見てみましょう。
彼が言及している主張を理解できるように、文脈を理解する必要があります：「強力なAIによって、今日のLLMに似たモデル（ただし異なるアーキテクチャに基づいている可能性があり、複数の相互作用モデルを含む場合があります）は以下の特性を持つことになります。」
データセンターでのAI、つまり天才国家を見るときに理解しなければならない特質です：「関連分野の生物学、プログラミング、数学、工学、文章作成においてノーベル賞受賞者よりも賢いこと。これは、未解決の数学定理を証明し、非常に優れた小説を書き、困難なコードベースをゼロから書くことができることを意味します。また、テキスト、音声、ビデオ、マウスとキーボードの制御、インターネットアクセスなど、仮想的に働く人間が利用できるインターフェースを持っています。行動、通信、リモート操作、人間への指示、実験、ビデオの視聴と作成などに従事することができます。そして、これらすべてのタスクを世界で最も有能な人間の技能を超える能力で実行します。」
「これらの何百万ものコピーは、それぞれ無関係なタスクで独立して行動することができます。あるいは必要に応じて、人間が協力するのと同じ方法ですべてが一緒に働くことができます。おそらく特定のタスクに特に優れた異なるサブモデルが微調整されているでしょう。」
ここで彼は「これをデータセンターの天才国家と要約することができます」と言っています。「モデルの訓練に使用されるリソースは、何百万ものインスタンスを実行するために再利用できます。モデルは情報を吸収し、人間の速度の10倍から100倍の速度で行動を生成することができます。おそらく物理的な世界によって制限されるでしょう。」
その巨大な主張に対して、ヤン・ルカンは基本的に「それが起こる可能性は絶対にない」と言っているのです。
他の個人もこれについて議論しており、彼らの考えを聞くのは非常に興味深いです：「データセンターに100万人の天才がいると想像してください。それぞれがある種のノーベル賞レベルの一般的能力を持ち、人間の100倍の速度で動き、疲れず、眠らず、食べる必要がなく、休暇に行く必要もありません。コピーして貼り付けてたくさん持つことができ、互いに交流し、一緒に計画を立てることができます。100万人がいるので、それはAIシステムというよりも社会や国家や文明に似ています。」
「それを数年で持つ可能性があると想像してみてください。そこで「それをどうやって制御するか」あるいは「どうやって単に電源を切るか」と自問すると、それは機械よりも国家の電源を切るようなものだと考え始めます。もしそれがあなたが電源を切りたいと思っていることを知っていれば、対策を講じるでしょう。ノーベル賞レベルの知性であり、人間の100倍の速度で動作する100万人がいることを覚えておいてください。彼らは私たちよりずっと先を行っています。」
ヤン・ルカンはここで明確に「これが起こる可能性は絶対にない」と言っています。彼は基本的に、AI業界の他の全員が予測しているAIは、おそらくかなり早く来るだろうと言っていることを指摘し、ヤンは基本的に「皆さん、おそらく間違った道を進んでいる」と言っています。
人々の予測を見ると、「愛と優雅さの機械」を書いたダリオ・アモデイのような人々は他の人々よりもはるかに短いタイムラインを持っていることがわかります。ダリオ・アモデイは最近、彼のタイムラインは2026年から2027年の可能性があると述べました：「2026年、2027年ごろに効果的にボード全体でAGIに到達し、それが閾値の瞬間となり、その時点でリードしている人が永遠にリードするということですか？」「潜在的にはそうです、私たちはこれらのことを知りませんが、地政学的に特に不確実な時期にこれが起こるリスクがあります。」
Demisの場合、彼はより保守的なタイムラインを持っています。これはGoogle AIのDeep Mindのボスです：「私たちは20年以上この分野で働いてきました。AGIは人間が示すことができるすべての認知能力を示すシステムであるという一貫した見解を持っています。私たちはどんどん近づいていると思いますが、おそらくまだ数年先だと思います。」
OpenAIの舞台裏で実際に何が起きているかを見ると、博士レベルのスーパーエージェントが開発中だと言われています。特定の記事はOpenAIの博士レベルのエージェントについて言及しています。それらはスーパーエージェント、人間の心が整理して克服するのに苦労する厄介な多層的な現実世界の問題に取り組むように設計されたAIツールです。単一のコマンドに応答するだけでなく、目標を追求し、スーパーエージェントは膨大な量の情報を合成し、選択肢を分析し、製品を提供します。
興味深いことに、OpenAIのスタッフの何人かは、最近の進展に興奮し、同時に不安を感じていると述べています。つまり、一方ではOpenAIの人々が「これらのクレイジーなAIエージェントがある」と言い、ダリオ・アモデイが「AGIはおそらく2026年と2027年に」と言っているが、ヤン・ルカンは「絶対にあり得ない、みんなが話していることは完全にナンセンスだ」と言っているのです。
ヤン・ルカンの実際のAI予測は何でしょうか？彼は次のように述べています：「少なくとも大多数の人々にとって、人間のような知性を持っているように感じるシステムを持つ可能性があるとすれば、私たちが想像しているすべての計画、すべてのことがうまくいくならば、これらのJPAアーキテクチャや私たちが実験しているいくつかの他のアイデアが成功すれば、私はこれが5年か6年以内に起こるとは思いません。」
「しかし、それが5年か6年で起こるでしょうか？私はその分布に非常に長い尾があると思います。AIの歴史は、人々がただその難しさを過小評価し続けているということです。おそらく私は今、同じ間違いを犯しています。5、6年と言うとき、これは私たちが予見しなかった主要な障害に遭遇しないならば、私たちが試そうとしているすべてのことが実際に機能するならば、物事がスケールできるならば、コンピュータが加速するならば、そのようなことです。これが起こるためには、多くの惑星が整列する必要があります。それが最良のケースです。サム・アルトマンや他の人々から聞いたかもしれないように、来年起こるわけではありません。」
ヤン・ルカンは明らかにAGIは起こらないと言っており、彼だけではなく、他にも様々なAI批評家がいて、彼らは安定した立場を持っていると思います。しかし、前述のように、この人はAI空間で成功を収めており、この分野で非常に重要な人物です。以前は、実質的に誰もが見限っていたものについて話していたことを覚えておいてください。彼が述べていることに注目することは理にかなっています。
以前にこのクリップをお見せしましたが、彼が最近のインタビューで、現在持っているものよりもずっと多くのものが必要であり、LLMは単純にAGIにつながらないという単純な計算について説明した別のクリップです。彼がその理由を説明している短いクリップをご覧ください。一部の人々は彼がMetaにいるから批判していると思うかもしれませんが、信じてください、これは実際のものに基づいています：
「しかし、これを生後最初の4年間に視覚システムを通して私たちの脳に到達する情報量と比較すると、それはほぼ同じ量です。4年間で、幼い子供は合計約16,000時間起きています。視神経を通して脳に到達する情報量は秒間約2メガバイトです。計算をすると、それは約10の14乗バイトで、ほぼ同じです。4年間で、幼い子供は最大のLLMと同じくらいの情報やデータを見ています。これが教えてくれることは、ただテキストで訓練するだけでは人間レベルのAIに到達することは決してないということです。システムが現実世界を理解するようにする必要があり、その現実世界の理解は本当に難しいのです。」
彼が言ったことは、LLMはAGIを達成しないだろうということは、それらがただテキストに基づいて構築されているためだと言うのは、それほど革命的なことではないと思います。つまり、あなたはただテキストを使って人間レベルの推論を再現しようとしているのです。もちろん、これについては様々な議論がありましたが、表面的には彼が言っていることはそれほどクレイジーには思えません。人間は何百万年もの間エンジニアリングされてきており、脳は非常に洗練されたシステムであることを認識すると。
MetaのCTOも最近のインタビューで、ヤン・ルカンに賭けるなと実際に言っています。彼はロボティクスと、彼らが構築しようとしている世界モデルはただもう少しデータが必要だと話しています：
「私は今の状況が大好きです。私は大きな信奉者であり、これらの世界モデルに投資したいと思っています。そしてそれを端末から解放したいのです。世界モデルと端末からの解放は、それは基本的に変圧器のような種類のスケールから根本的に新しい異なる技術ですか？それは種類の混合やコンビネーションのようなものですか？どんな風にこれが行われるのか、曇ったガラスを通して考えると何でしょうか？」
「世界モデルは新しい異なるものだと思います。その結果、タイムラインは知り得ないものだと思います。私は世界モデルについて考えるとき、学部生だったときの機械学習のどこにいるのかを少し思い出します。私は2004年にハーバードを卒業し、人工知能入門のクラスを教えました。実際にそれはマークに会った場所です。彼は私のクラスの学生でした。私たちは実際、ニューラルネットワークはかつて有望だったが今は死んでいることが知られている技術だと教えました。そして皆、手書き認識ニューラルネットワークを構築しなければならず、それは機能しました。『はい、それだけで使えます。おめでとう、あなたの学位です。』そして今、ニューラルネットワークは世界中にあり、ヤン・ルカンは正しかったのです。」
「ジェフリー・ヒントンとベンジオも正しかった。彼らは全員チューリング賞を受賞した、神のお恵みです。そしてそのテクノロジーが繁栄できるポイントに達するまでには、特にGPUを含む一連の他のアンロックが必要でした。だから十分に長いタイムラインではヤン・ルカンに賭けることはないと思いますが、まだそのピースのアンロックが何なのかわかりません。」
「体現された部分は両方できると思います。体現された部分は大いに恩恵を受け、おそらく世界モデリングに大いに役立つでしょう。これらのセンサーがあり、より良い豊かなデータがあるとき、ロボティクスデータがあるとき、それは固有受容感覚を与えてくれます。摩擦を与えてくれると思います。それは大きなアンロックになると思います。だから体現された方が実際にはおそらく順序が間違っていると思います。体現された方が間の方だと思います。現在のモデルにとって、そのデータを取得し、そのコンテキストにいることは大きな恩恵です。また、おそらく世界モデルを構築するために何が必要かを理解し始めるためのデータの一部かもしれません。」
彼が言ったことは本当に重要です。確かに豊かなデータソースが必要であり、もちろん実世界のデータが必要です。システムが実世界で行動し、もちろん実世界に存在する人間によって設定された目標を達成しようとしている場合。人間はただテキストのパラダイムに存在するわけではありません。私たちには視覚、嗅覚、触覚、そして常に私たちに流れ込んで私たちの世界モデルを形成し、非常に効果的に推論できるようにするデータのすべての種類の部分があります。
これは確かに非常に重要なポイントだと思います：「私たちはその情報理論的限界に達しています。コンピュータを投入してスケーリング法則について話しましたが、ノーバート・ウィーナーのサイバネティクスや情報理論の最初の構築に戻ると、どれだけの一般化可能なビットを何かから引き出せるかというこのアイデアがあります。そして私たちは、人間のメディアの全コーパスが十分ではないことを発見しています。それは十分ではありません。」
「ロボティクスでそれを発見しています。ロボティクスはメタ内でラマプログラムの補助として最近始めた取り組みです。どれだけ多くのコーヒーカップを誰かが掴むビデオを持っていても、実際に必要なデータを得ていません。なぜなら、どれだけの力が適用されるか、これはプラスチックカップでどの程度まで曲がるかを検出する方法がわからないからです。そして凝縮があるので、経験している摩擦の損失を相殺するために少し多くの力を適用する必要があります。」
「私たちはそれを自律的に行います。私たちの頭の中には単一の意識的な思考すらありません。アリア、あなたがポケットから電話を取り出すとき、第二指の角度や親指でどれだけの力を加えて鍵を避けているかわかりません。ある程度、私たちが知性と考えるもの、人間の脳のより高次の機能について話していますが、それはおそらく知性のあまり印象的ではない部分です。深い脳、哺乳類の脳、扁桃体、そのトカゲの脳の知性は、現代で捉えるのが非常に難しいです。」
「計算機のように興奮していますが、ヤン・ルカンのビジョンを本当に信じています。統計的スープのような方法ではなく、モデルベースの方法で、常識を持ち、より実質的な方法で因果関係を理解する世界モデルに突破するために、この先駆的な仕事をする必要があります。」
私が言っていたことが正確に見えます。ポイントは人間にはこの埋め込まれたレベルの知性があり、私たちは本当に当たり前のことと思っています。AIシステムをただビジュアルデータで訓練する、ただビデオを与えて世界を理解させる、そしてテキストを与えるだけでは、これらは実世界の知性の真の具現化ではありません。なぜなら、他のすべてとの組み合わせで実際に存在しないからです。私たちがただ当たり前のように思っているすべての「語られていない知性」があります。
では、ヤン・ルカンが言う解決策は何でしょうか？彼はもちろん、これは全く起こらないという声明を出しました。MetaのCTOも同意し、もちろん彼らは「私たちはすべてのデータを投入していますが、何も本当に機能していません」と言いました。
ヤン・ルカンは、「生成モデルを放棄して共同埋め込みアーキテクチャを支持する」というプレゼンテーションを行いました。「確率モデルを放棄してエネルギーベースのモデルを支持し、対照的な方法を放棄して正則化された方法を支持し、強化学習を放棄してモデル予測制御を支持する」と彼は言います。ここでは明確に「人間レベルのAIに興味があるなら、LLMに取り組まないでください」と言っています。
前の別のビデオで、OpenAI、サム・アルトマン、すべてのこれらの企業がAGIとASIについて話していることについて話しましたが、人間レベルのAIに興味があるなら、おそらくLLMは前進する道ではないかもしれません。このクリップを見てください。これは本当に重要だと思います。彼は私よりもずっと上手に説明していますが、基本的に彼は「複雑なタスクを実行するためにAIシステムが持つ必要がある本当の知性を解き放つためには、まだ長い道のりがあります」と言っています：
「結論に行きましょう。私はいくつかの推奨事項を持っています。生成モデルを放棄してください。今日最も人気のある方法で、みんなが取り組んでいるものです。これに取り組むのをやめてください。jetpacks（共同埋め込みアーキテクチャ）に取り組んでください。それらは生成モデルではありません。それらは表現空間で予測します。確率モデルは難解ですので、エネルギーベースのモデルを使用してください。私とマブは約20年間このことについて議論してきました。対照的な方法を放棄して正則化された方法を支持してください。強化学習を放棄してください。それが非効率的であることは長い間言ってきました。モデルが不正確であるか、コスト関数が不正確である場合にのみ、最後の手段として強化学習を使用する必要があります。」
「しかし、人間レベルのAIに興味があるなら、LLMに取り組まないでください。意味がありません。実際、学術界にいるなら、LLMに取り組まないでください。なぜなら、数万のGPUを持つ何百人もの人々と競争することになるからです。あなたが持ってくることは何もありません。他のことをしてください。大規模データで訓練する問題など、解決すべき問題がいくつかあります。計画アルゴリズムは非効率的です。より良い方法を考え出す必要があります。最適化、応用数学に興味があるなら、素晴らしいです。潜在変数を持つJAです。」
ここで彼はLLMを放棄し、単に「次のトークンを予測する」のではなく、実際のレベルの知性にフォーカスした異なる種類のアーキテクチャに取り組むべきだと明確に言っています。
皆さんはどう思いますか？ヤン・ルカンが正しいと思いますか？もちろん、私たちのほとんどは尊敬されている確立されたAI研究者ではありませんが、彼の言っていることには確かに価値があると思います。次のトークンを予測することが確かにある形の知性につながっていると思いますが、人間レベルの知性の複雑さを複製することは、おそらく私たちが考えるよりずっと先のことだと思います。将来的にそれが見えるかもしれません。誰が知っているでしょうか？それは非常に興味深いことになるでしょう。考慮すべきことがたくさんありますが、この動画を作りたかったのは、非常に興味深いと思ったからです。
コメント