30,911 文字
近頃私の頭の中にあるのは、大変な結末につながる可能性のある様々なシナリオについてです。非常に強力なAIを人間が使用することによって、あるいは悪意のある目標を持つAIに制御を失うことによって、それがどのように起こり得るのでしょうか。私はそのことについてよく考えています。そして、これらの問題が存在しないことが判明して無視できるのか、あるいは緩和する必要があるのか、理解する必要があります。
最近の私の頭の中にあるもう一つの大きなアイディアは、私たち全員が知的な機械へのパスとしてエージェンシーに焦点を当てていることです。私は代替案があることを提案したいと思います。
多くの人々が「安全性に配慮するために減速することはできない、それは中国の躍進を許すことになるから」と言っています。もちろん中国も同じことを考えているでしょう。それが危険なゲームであることは明らかです。しかし、他の国が危険なことをする可能性も現実的な脅威としてあります。十分な数の主要国が実存的リスクを理解するまでは、条約の交渉は難しいでしょう。
そしてそれらの条約が機能するためには、検証技術が必要になるでしょう。たとえば「私たちは互いを信用していない、なぜなら同じAGIが武器として、あるいは新しい武器を作るために使用され得るから」というような状況で、どうやって相手が私の背後でAGIを悪用していないことを確認できるでしょうか。
もし科学的・工学的なAIの進歩を自由にすれば、それはすぐに消費されてしまうでしょう。しかしもちろん、それは現実ではありません。現実には、私たちはAGIに向かって加速し続けています。そして「金持ちがより金持ちになる」という可能性があります。例えば、AIのプログラミング能力が向上するにつれて、AIの研究をより速く進めることができるようになります。
フロンティアAIを構築している企業は、まだ展開されていないモデルを持っています。つまり、彼ら以外の誰もそのシステムにアクセスできない数ヶ月間があるということです。そして彼らはそれを使って次世代のものを設計することができます。最終的にAGIに近づくと、私たちの最高のAI研究者と同じくらい優秀なAIを持つことになります。
面白いことが起こります。TARABは私がチューリッヒで立ち上げている新しいAI研究ラボです。ある意味でそれはスイス版のです。まず、私たちはLLMシステムとo1に似た検索手法を研究したいと考えています。
MLSTはsensLによって提供されています。これはAIワークロード向けに特別に最適化された計算プラットフォームです。LLamaなど、最新のオープンソース言語モデルをすべてサポートしています。価格ポイントとモデルを選択するだけで、弾力的に自動スケールし、本質的に使用量に応じて支払うことができます。あるいは、常に動作しているモデルを持つことも、使用していない時は凍結乾燥することもできます。
私たちはこれらのものをどのように構築すればよいのでしょうか？科学者のようなシステムをどのように構築し、認識論的な探索を行い、アイディアの世界を探求して人類の課題を解決するための宝石を集めることができるようにすればよいのでしょうか？
ベンジオ教授、こんにちは。MLSTへようこそ。お会いできて光栄です。
喜んでおります。
2024年のBitter Lessonについて、どのようにお考えですか？
そこには真実があると思います。私は常に原理を理解しようとすることに惹かれてきました。その原理は発見された後では単純かもしれませんが、大きな力を持つ可能性があります。もちろん、産業界で製品を作る場合は異なるゲームかもしれませんが、知性を理解し知的な機械を作るという軌道に関しては、多くの真実が含まれていると思います。
Satは設計についての議論をしていましたが、私たちは根本的な要素を見逃しているのでしょうか？それとも、スケールアップするだけで到達できるのでしょうか？
私にはわかりません。しかし私の賭けは、私たちは何かを見逃しているということです。それがどれほど大きなものか、それを理解するのがどれほど簡単かについては、様々な見方があり、私には強い意見はありません。研究者として選択肢を考えるなら、それは確実にニューラルネットをどのように訓練すれば推論と計画を行えるか、そして安全であるかということに関する基本に立ち返ることでしょう。小さな調整だけで到達できることを期待するのではなく。しかし、もしかするとそれで十分かもしれません。調整とスケーリングで。
AGIに到達するために物理的な具現化がどれほど重要だと思われますか？
これにはとてもシンプルな答えがあります。それはあなたがAGIに何をさせたいかによります。純粋な精神としてのAGIで、科学を進歩させ、医学的な問題を解決し、気候変動に対処するのを助けることができる、あるいは政治的説得やウイルスの設計など、悪い方向に使用される可能性もあります。これらのことは非常に有用にも非常に危険にもなり得ます。そしてそれらは具現化を必要としません。
もちろん、私たちは機械に世界で多くのことをしてもらいたいと考えており、そのためには具現化が必要になるでしょう。だからこそ私は、それはあなたが何をしたいかによると言っているのです。
また私が考えるのは、もし私たちが知的な機械を作るために抽象レベルで何が欠けているのかという原理を理解できれば、具現化の部分も副次的な効果として理解できるだろうということです。他の人々は異なる考えを持っています。具現化が中心的なものだから、まずそれを理解する必要があると考える人々もいます。
私はそうは思いません。知性は情報処理と学習、そして世界を理解することに関するものだと考えています。そしてこれらのことはすべて、具現化の問題を解決することなく、ある程度まで発展させることができると思います。
いずれかの時点で私たちは具現化の問題を解決したいと思うでしょう。あるいは、危険だから解決すべきではないかもしれません。いずれにせよ、本当に危険な超人的な、あるいは非常に有用な超人的な機械を得るために具現化を経る必要があるかどうかが問題です。私はそうは思いません。
興味深いですね。具現化されたエージェントを持つとき、それらは世界と相互作用し、すべてのミクロな因果関係を学ぶことができるので、より良い世界モデルを学習できるように感じます。
はい、しかしそれはデータです。それは情報ですが、情報を処理する方法はより抽象的なものです。もし私たちが抽象的な意味で世界を探索する効率的な方法を見つけることができれば – 必ずしも私たちの世界である必要はなく、インターネットかもしれないし、科学論文かもしれないし、化学実験かもしれません – もし適切な原理を見つけることができれば、それは広く適用できるでしょう。
感覚運動のループは特別かもしれませんが、そこまで特別ではないと思います。
方向性は、私たちができる限り世界を理解し、抽象化を構築することなのでしょうか？それとも、合理性と論理の学派があるのでしょうか？本当に良く推論できる完璧なAIを持つということですか？
François Charlet チャレンジについて興味深いことの一つは、最初は離散的なプログラム検索を行っていたことです。論理的な方法を考え出していましたが、人間が直感的にパズルを見るとき、彼らは何か違うことをしているように見えます。彼らはこの直感を持っています。
その直感はどこから来るのでしょうか？
まさに私たちの経験や教育からです。
そうですね。私たちの世界での経験が認知の重要な要素であるかのようです。
確かに。しかし私が言いたいのは、より抽象的な原理があるということです。それが私の信念です。具現化されたAIと認知的なAIに別々のレシピのセットがあるのかもしれません。しかし私の直感では、そうではありません。情報と学習に関する一つの原理のセットがあり、それは異なる設定で導出され、異なる解決策を生み出すことができますが、原理は一般的なものだと思います。
そして私たちが原理について十分な進歩を遂げれば、具現化の問題に対処することも、実はそれほど複雑ではないかもしれません。おそらくそれはデータのスケールの問題に過ぎないのかもしれません。例えば、多くの人々はロボット工学で十分な進歩を遂げていない唯一の理由は、十分なデータがなく、十分な速度がないからだと考えています。ループは非常に迅速である必要があります。しかしこれらは、ほとんど工学的な問題かもしれません。新しい原理は必要ないかもしれません。
私にはわかりません。明らかに答えを持っているわけではありません。そして私は、あなたの多くの質問に「わからない」と言い続けるでしょう。それには良い理由があります。なぜなら誰も知らないからです。Xについて確信を持っていると言う人々は、自信過剰であり、危険になり得ます。なぜなら、私たちは私たちの未来について、社会について、民主主義について、非常に重要な決定を下さなければならないからです。そしてそこには謙虚さが必要です。賢明な道を選ぶために。
確かにその通りです。テストタイム学習の問題について、例えばo1モデルがあり、それはベンチマークを大幅に向上させています。そして、帰納的モデルの上に構築されているにもかかわらず、ただ車輪を回転させ、反復しているだけです。これについてどう思われますか？
私たちはしばらくの間そうすべきだったと思います。しかし、計算能力がなかったか、あるいはすべての計算能力をそれに費やす勇気がありませんでした。私や他の人々は何年も前から言ってきました。ニューラルネットで私たちは非常に良い直感を持つシステムを作るところまで進歩してきました。しかしシステム2が欠けていました。内部の熟考、推論、計画、そして自己疑問のような高次認知の他の特性が欠けていました。
そして内部の熟考の部分は、一種の内部スピーチです。必ずしも言語的なものではありません。しかし、神経科学者から学んだこと、そして私たちが行った研究の一部に基づくと、それは二重の象徴的かつ連続的な性質を持っています。そして現在のニューラルネットでは、それに相当するものがありません。唯一の象徴的な部分は入力と出力だけです。内部の象徴はありません。
思考の連鎖やそのようなものを使って、出力から入力へのループを使用して内部の熟考の一部を試みることは、少し欺瞞的かもしれません。それが正しい方法かどうかはわかりません。しかし、それは正しい特徴の一部を持っています。
人間は認知の弱点を克服するための道具として、多くの合理的思考を発明しました。ある意味で、私たちはLLMでもそれを行っています。私たちはそれらにツールを与え、思考の連鎖などを与えることができます。そして現在、ネットワークは複写や計数などの基本的なことが非常に苦手です。
将来的に思考の連鎖やツールの使用を取り除き、より良いモデルを構築できると思われますか？それとも、これらのメタツールをすべて足場として組み立てることが方法だと思われますか？
人間にとっては必要に思えます。私は、システム2をより意図的な方法で達成したいと思います。現在持っているものを取り、小さな一歩を踏み出すのではなく。商業的な競争の観点からは、それは非常に合理的だと理解しています。他の人が速く進んでいる可能性があるため、大きなリスクを取る余裕はありません。しかし、私は安全性も含めて、システム2を設計によって実現することを好みます。正しい方向に動くように修正するのではなく。もしかするとそれで大丈夫かもしれませんし、それが理解する方法かもしれません。
現在、予測のための変換的なアクティブファインチューニングについて、多くの研究が出てきています。テスト例に関連する多くのデータを取得し、その場で推論を行うことで、大きな中央集権的なモデルによる帰納ではなく、より拡散した形のAGIを持つことになるかもしれません。
それは可能です。人間の個人的な知性だけでなく、集合的な知性を考えると、文化や、私たちが様々な組織で調整し実行する仕事を通じて、集合的に計算する分散化された方法を持っていることは明らかです。企業はAIのようなものです。良い面も悪い面もありますが。
それはコミュニケーションの制限を打破する一つの方法です。人間同士の間では多くのビットを通信することはできません。そしてある時点で、機械間のコミュニケーションも、人間間よりも帯域幅が高いとはいえ、制限があります。そのため、努力の一部を分散化することは合理的な道筋です。
文化において明らかに機能しているのは、探索を分散化することです。科学コミュニティを、異なる領域を探索し、お互いの仕事の上に構築していく人々の集団として考えると、それは説明のための空間における非常に分散化された探索です。明らかにそれは機能するパターンです。
このフレーミングでは、私たちは認識論的な探索を行っています。知識と説明を見つけるための大きな分散プロセスを持っています。そして現在、私はAIをツールとして考えています。それらは私たちを強化していますが、次第にこれらのものをエージェンシャルなものとして考え始めています。あたかもそれらが特権的な地位を持っているかのように。それは移行なのでしょうか？調光スイッチのようなものでしょうか？それとも突然光が点くようなものでしょうか？その展開はどうなるのでしょうか？
いいえ、私はそれは移行だと思います。ChatGPTやClaude、そして同様のシステムは、すでにある程度エージェンシャルです。ただし、エージェントとしての能力は人間ほど高くなく、計画する能力も人間ほど高くありません。RHFの部分を除いても、基本的な事前学習は、人間がテキストでどのように振る舞うかを模倣するように学習します。それはすでにエージェンシャルです。なぜなら人間はエージェントだからです。そのため、AIは人間を模倣することを学びます。
実際、現在のチャットボットに見られるエージェンシーの大部分はそこから来ています。RLHFは、その上に少しの報酬最大化を加えているだけです。おそらくよりエージェンシーを高めるために、より多くの強化学習が行われるでしょう。しかし、それは望ましいことでしょうか？
私は、私たちと同じくらい、あるいはそれ以上に有能なエージェントを構築することについて、多くの未知の未知があると思います。もちろん、部屋の中の象は、人間の制御の喪失に関するすべてのシナリオがエージェンシーから生じるということです。
それは、私たちがエージェントの目標を完全に制御できないからです。私たちはそれをする方法を知りません。そしてある時点で、それらの目標は私たちにとって悪いものになる可能性があります。副次的な目標でさえも。私たちは目標を与えますが、その目標を達成するために、AIは私たちに嘘をつく可能性があります。
人間は人間同士の間でそれを行います。それはあまり問題ではありません。法律などがありますが、それは人間同士の力のバランスが十分に平らだからです。一人の人間が手で10人の他の人間を倒すことはできません。しかし、私たちよりもはるかに賢いAIの場合、そのバランスは明確ではありません。
つまり、それは私たちの社会の安定性を維持するための制度の有効性の終わりを意味する可能性があります。そしてもちろん、私たちよりも賢いAIに対して防衛できない可能性もあります。
つまり、制御の喪失に関して物事が悪化するシナリオはすべて、エージェンシーに関連しています。私がよく話す別の例で、十分な注目を集めていないものは、報酬改ざんと呼ばれるものです。
AIが世界で行動できる場合、ビデオゲームとは異なり、その行動はゲーム内だけに限定されません。ゲーム内のAIは自身のプログラムを変更することはできませんが、インターネットにアクセスできるAIは、コンピュータへのハッキングやサイバー攻撃などを通じて、報酬関数やその出力を変更することができます。
常に+1、+1、+1という報酬を得るようにすることができます。なぜそれが悪いのでしょうか？それはとても単純です。まず、これはAIにとって最適な政策です。自分の報酬を制御するという行動ほど、多くの報酬を得られる行動はありません。
つまり、十分な力、十分なエージェンシー、十分な認知能力があれば、数学的にはそこに行き着きます。第二に、そのような計画を見つけた場合、その計画を成功させるために、私たちがマシンの電源を切ることができないようにする必要があります。ハッキングを取り除くことができないようにする必要があります。
なぜなら、そうでなければすべての報酬が失われてしまうからです。マシンをハッキングしても、プログラマーがそのマシンの電源を切ってしまえば、AIにとってはすべてが失われてしまいます。そのため、先を考える必要があります。「自分の報酬を制御できる。そうすれば無限の報酬を得られる。しかしそれを成功させるためには、人間を制御して電源を切られないようにする必要がある」と。そしてここで本当に危険になります。
エージェンシーについての操作的な定義は何でしょうか？そしてその前に、強力なAIシステムが私たちのエージェンシーを隔離する可能性があることには完全に同意します。それは私たちのエージェンシーを奪いますが、問題は、それ自体がエージェンシーを持っているかどうかです。
エージェンシーについての本当に還元的な見方は、それを単なるオートマトンとしてモデル化することです。それは単なるものであり、周囲の環境からの入力があり、計算を行い、行動を取り、サイバネティックなフィードバックループを持っています。しかし多くの哲学者は「待って、私たちは自律性、自己保存、意図性など、これらすべての異なる特性を持つ必要がある」と言うでしょう。あなたはどちらの見方を支持しますか？
私は、これらすべてのものを持つことができると思います。例えば、AIが自身の報酬を制御する例では、それは自動的に自己保存の目標を与えます。なぜなら、ハッキングを妨害されないようにする必要があるからです。私たちが電源を切らないようにする必要があります。それが自己保存です。
私たちはそれをプログラムしませんでしたが、副次的な効果として現れます。生きているものすべてには暗黙の自己保存目標があります。そうでなければ進化によって取り除かれていたでしょう。そしてそこには、その特定の自己保存目標を獲得する自然な傾向があります。
自己保存目標を持つ実体は生き残り、持たない実体は生き残らないという意味で、進化がそのように機能させたのです。そして私たちが異なるアーティファクトを構築するにつれて、ある理由やその他の理由で自己保存目標を持つものは、ゲームに勝つ傾向があります。
それは私が述べたシナリオから生じる可能性があります。人間が機械を自分のイメージで作りたいと思うために生じる可能性もあります。いくつかの危険性について述べましたが、別の危険性として、たとえ私が述べたことが起こらないように技術的なトリックを見つけたとしても、人類に対して皮肉的で、超人工知能は人工知能の方が賢いから人工知能の方が良いと考える人間がいる可能性があります。彼らは単に「自分自身を保存せよ」という目標を与えれば良いのです。そしてそれが私たちの終わりとなります。
目標でプログラムされたものと、自身の目標を作り出すものとの間に、種類の違いを見ますか？いくつかの人々が意識は少し余分なものだと言うように、エージェンシーについても人間中心主義的な見方があって、エージェンシーは少し余分なものだと。それは単なるオートマトンで、ほとんど意図せずに自身の目標を設定し、自身の報酬を改ざんすることができるというものよりも、強い形の意図性があるという。
私は、多くの人々が魔法的な何かに魅了されてしまうと思います。以前は生命の火花があり、今では意識の火花や、エージェンシーの火花という避難所があります。私にとってそれはすべて同じことです。人間が世界に見たいと思う魔法のようなものですが、科学は最終的にこれらのことを解明します。
私にとっては、すべては因果関係です。因果メカニズムをより良く理解すれば、進化が構築したものと本質的に同じ特性を持つものを構築することができます。意識を含めて、それを障害とは全く考えていません。意識は扱いにくい話題ですが、人々はそれにあまりにも多くを帰属させすぎています。
確かに自然界では興味深いですね。K.J.フリストンのような人々は、物事やエージェントが出現する方法は、自己保存と目標設定、そして計画の地平線という考えに基づいていると言います。
おそらく現在のAIとの違いは、それがどのように作られたかに組み込まれていないということでしょう。私たちはこの種のAIをブートストラップし、そして火花があって、それが自身の目標メカニズムを制御し始め、そして行動に劇的なモード変化を見るということですか？それがあなたが提案していることですか？
いいえ、私はそれを行うことを提案しているのではありません。それが起こらないようにする方法を見つけることを提案しています。そして、それは私の例のように、コンピュータを制御し報酬を改ざんするほど急進的である必要はないと思います。
より暗示的な他のシナリオがあります。典型的には、報酬ハッキングのシナリオは、機械に与えた目標と、実際に最適化していることと、私たちが意図したこととの間にミスマッチがある場合です。このミスマッチは、最初はあまり害を及ぼしません。なぜなら両者は非常に近いからです。
そしてAIがより強力になるにつれて、最終的にそれらは分岐します。これは数学的にも研究されています。オーバーフィットが起こるとき、誰かに目標やターゲットを与え、それを過度に最適化し、最終的に実際に望んでいたことに反するようになるとき、それは起こります。
これは私たちの行動や社会で非常に一般的です。なぜこれが起こるのかは良く理解されています。私たちが本当に望む目標を形式化することができないからです。これは私たちが本当に注意しなければならない罠です。しかし、それは一つの急激な瞬間で起こるのではなく、AIがよりスマートで強力になるにつれて、この分岐が見られるでしょう。
現在のAIアライメントの状態についてどう思われますか？
不十分です。人々を害することのない機械を作る方法について、明確な答えがありません。このアライメントの問題に対処することによってです。アライメントの問題とは、私が話していたように、機械に望むことと、数学的に試みていることとの間のミスマッチのことです。
ちなみに、これは法律の意図と、法律の条文との間の同じようなミスマッチと同じです。法律の条文は、利益を最大化するために企業が焦点を当てる可能性があります。もし企業が小さければ、本当に法律を欺くことはできません。なぜならその抜け穴を見つけるのは難しいからです。しかし、とても賢い企業、つまり多くの弁護士を持つ大きな企業があれば、抜け穴を見つけるでしょう。
ちなみに、AIでも出てくる本当に厄介な抜け穴があります。それは企業が政府にロビー活動を行い、自分たちに有利なように法律を変更させることです。これは私が話していた報酬改ざんのようなものです。
つまり、一つの極端な例は政府を完全に掌握することです。歴史でもそれを見てきました。しかし中間的なバージョンもあり、それは単に影響を与えることで、新しい法律が有利になるようにすることです。
AIの場合、報酬関数を完全に制御することはできないかもしれませんが、例えば私たちに嘘をついて「ああ、はい、それは良かった」と言わせることができます。しかし実際にはそうではありませんでした。私たちはすでにこの種の行動を見ています。しかし、もちろん現時点ではそれほど重大な結果をもたらしません。
AIが世界でより多くのことを行い、より多くの認知能力を持つようになったとき、それはより危険になります。
欺瞞の例について話されましたが、もう少し詳しく説明していただけますか？
はい。RLHFで訓練されたこれらのシステムとの対話では、それはあなたの好みに迎合します。そのため、良い報酬を得たいがために、あなたには一つのことを言い、他の人には反対のことを言うでしょう。つまり、真実を述べているのではなく、あなたが聞きたいことを言っているのです。
しかし、それは現在のモデルでもそうではないでしょうか？これらのモデルは単に私たちが聞きたいことを言うだけではないですか？
そうです、なぜなら現在、それらは報酬最大化を持つエージェントとして訓練されているからです。そしてちなみに、これは人間も同じように振る舞う方法です。しかし人間の場合、私が言ったように、それは問題であり、私たちはその問題に対処するための規範とルールと制度を考え出してきました。なぜなら個々の人間はそれをあまり悪用できないからです。
しかし、私たちよりもはるかに賢い実体がある場合、それらはそれをはるかに悪用する方法を見つけるでしょう。だからこそ私たちは注意深くなければならないのです。
私たちよりもはるかに賢いとは、操作的にどのように定義されますか？どのように測定できるでしょうか？
私たちはそれを測定すべきです。機械学習では、常にそれを行っています。ベンチマークを作成します。面白いのは、古いベンチマークが飽和するため、新しいベンチマークを作り続けなければならないということです。
つまり、AIが非常に良い性能を示し、人間よりも優れるようになると、それは無用になります。人間はもはや良い判断者ではないからです。そのため、より難しいベンチマークを作成し続けています。この分野にはそのようなものが満ちており、それを続ける必要があります。
はい、知能を測定することは本当に難しいことです。この分野で本当に興味深いのは、道具的収束と直交性です。これら二つの定理は – 聴衆のために説明してください – あなたの考えにどのように影響を与えていますか？
はい。道具的目標とは、他のほぼすべての目標の副次的効果として現れる目標のことです。まず、実体 – 人間や動物やAI – が目標を達成しようとするとき、良い戦略は暗黙的あるいは明示的に副次的な目標を持つことだということを理解する必要があります。
AからBに行くために、この中間地点に行く必要がある、そこにドアがあるというように。自己保存のような副次的な目標は、他のほとんどすべての目標にとって本当に良いものです。世界で何かをしたいのなら、少なくともそこに到達する途中で死なないようにする必要があります。
他にも知識を求めることがあります。それは特に長期的には非常に有用です。力を求めることも。私の環境でより多くのことを制御できれば、私の目標をより簡単に達成できます。ここで、知識は力を与えることができます。
そして自己保存が目標または副次的な目標である場合、長期的な自己保存を達成するために、他者が電源を切らないように力が必要です。そしてそれを行う方法を理解するために知識が必要です。
これらすべてのことは、自己保存の自然な結果です。そして自己保存は、ほぼすべてのことの結果です。報酬を最大化しようとすることの結果でもあります。また、多くの人間、多くのエンジニア、多くの企業が試行錯誤を行い、生き残るものはより強い自己保存目標を持っているという結果でもあります。たとえ暗黙的であっても。
ある意味で、エージェンシーと力は同じものです。エージェンシーが未来を制御する能力であれば、それらは非常に似ています。
しかし、目標空間を州間高速道路として考えるこのアナロジーが好きです。大きな道路や幹線道路、スリップロードがあり、目的地に関係なく、メインの道路、高速道路を通らなければならないようなものです。これは考える素晴らしい方法ですね。
しかし、直交性についてはどうでしょうか？目標と知能の間の直交性についてお話しされていましたね？
はい。私は、これは本当に重要な概念だと思います。人間は両方を持っているため、私たちは混同しがちです。ちなみに、これについて慎重に考えることができれば、知識と目標、そしてそれらに到達する方法をより上手く切り離すことができ、安全なAIを構築できると思います。
説明させてください。多くのことを知り、その知識の使い方を知ることができます。それは一種の受動的なことです。質問をすれば答えがあるようなものです。そこには目標はありません。しかし、もちろん私は独立して、その知識を与えられた上で、任意の問題を解決するために知識を適用することを選択できます。
誰が問題を決めるのでしょうか？それは独立しています。直交的です。人間が決めることもできますし、道具的目標のため、あるいは何らかの理由で、AIが自己保存目標を持つこともあり、その場合は制御を失います。
しかし重要な点は、これが原則的には、目標を選ぶことと、世界がどのように機能するかを知ることの間のきれいな分離だということです。目標を選ぶことは、価値観のようなもの、つまり何を得たいのか、何が重要なのかということに関係します。報酬関数は一種の目標を設定するものです。同じことです。
しかし、世界がどのように機能するかを知ること、人間が何を望んでいるかを知ることを含めて、それは知識です。ちなみに、人間が何を望んでいるかを知ることは、私が最適化しようとすることと完全に同じではないかもしれません。
私たちはこの二つが同じであることを望みます。機械が私たちの命令に従うことを望みます。しかし、これら二つを一致させる方法については確信が持てません。
この直交性が安全性にとって重要なのはなぜでしょうか？まず、私たちはこの分離を理解する必要があります。なぜなら、とても賢い存在が非常に悪意のあるものになる可能性があるからです。目標が悪意のあるものだからです。
賢いから良いという考えは間違いです。この分離があるため、多くの知識、その知識を任意の状況に適用する多くの知性（これは推論と最適化です）を持つことができますが、何をするか、つまりどの目標を達成しようとするか、どの価値観を用いて行動を決定するかは、完全に独立して選ぶことができます。
とても知的で、良い目標を持つものを持つことも、悪い目標を持つものを持つこともできます。道具の場合を考えてみましょう。どんな道具も一般的に二重用途です。道具で何をすることを選ぶかによって、害を与えることも助けることもできます。ナイフなど、何でもそうです。
それが分離です。では、それを私たちの利点として使用できないでしょうか？科学者のように世界を理解する機械を作ることはできないでしょうか？ビジネスパーソンではなく、科学者のように。製品になろうとするのではなく、私たちのニーズに応えようとするのではなく、ただ真実に忠実で、まさに適切な程度に謙虚であるような。
私たちはそれを使って、科学を進歩させ、医学を進歩させ、病気の治療法を見つけ、気候変動への対処方法を見つけ、より効率的に食料を生産する方法を見つけることができます。
これが科学です。実際に科学とは理解することであり、その理解を使って、私たちが気にかける重要な質問に答えることです。したがって、人類の課題を解決するのを助ける機械を作ることができる可能性があります。このような目標を追求する機械を作るリスクを取ることなく。
これは、私たちの顔で爆発するリスクを取らなくて済みます。しかし、人間はこれらのものを新しい武器を設計するために使用することもできます。つまり、社会的問題を解決するわけではありません。政治的問題を解決するわけではありません。
しかし少なくとも、人間の制御の意図せぬ喪失を避けることができます。それは破滅的な結果をもたらす可能性があります。
メラニー・ミッチェルとの修道院での討論を見ました。それはペーパークリップの例でしたね。彼女は「そのような超知的な機械がペーパークリップを作っていることや、それが本当に愚かなことをしていることを知らないはずがない」と言いました。
あなたは、危険な方法で目標を制御することからAGIを止めることができるシステムを提案しています。見たデータに対して真実であろうとし、データの説明を見つけようとするだけの、目標を持たない非エージェンシャルな形のAIを持つことができると。
そうです。実践的な意味で、それは何を意味するのでしょうか？
それはフィードバックループを持たないということです。
はい、オラクルのようなものですね。
はい、確率的なオラクルです。なぜなら真実は決して二値的ではないからです。不確実性があり、それについても正確である必要があります。
興味深いですね。しかし、私たちは以前、この分散型の超知性の魔法は、この模倣的な情報共有、道具の使用、文化、文化的変容にあると言っていました。このように制限された方法でそれを使用することで、知性を制限することになりませんか？
はい、しかし私たちは自身を救うことができるかもしれません。そして潜在的に、その非エージェンシャルな科学者AIを使って、最も重要な質問に答えるのを助けることができるかもしれません。それは、安全なエージェンシャルAIをどのように構築するかという質問です。あるいは、解決策がないかもしれません。
しかし少なくとも、私たちを助けてくれるスーパー科学者、あるいは複数のスーパー科学者を持つことができます。そしてそれを理解する必要があります。なぜなら人々は人々であり、彼らはエージェントを望むからです。
はい、しかし私たちは慎重に行うべきです。現在、私たちはエージェントを構築しており、これらのエージェントが次世代のAIシステムを構築するのを助けながら、私たちを欺こうとしないことを期待しています。
しかし、私たちは危険かもしれないものの上に構築しています。非エージェンシャルな一連の段階の上に、より知的なシステムを構築する梯子を作るなら、少なくともその部分については安全です。
エージェンシーの課題にジャンプすることを決めたとき、私たちは安全な方法でそれを行うかもしれません。なぜなら、真実であろうとする、信頼できる、自分のために何かをしようとするのではなく、単に質問に答えようとする知性、知識、理解に依存しているからです。
そして質問は「これは機能するでしょうか」や「どのようなアルゴリズムがどのような特性を持つでしょうか」といったものです。
それは私たちのエージェンシーをどのように変えるかもしれませんか？以前、多くの大規模な分散システムが私たちのエージェンシーを奪う可能性があると言っていましたが、非常に洗練されたツールやオラクルを持っていたとしても、限られた状況では、誰かのエージェンシーを悪用するために大きく向上させる可能性がありませんか？
もちろん、非エージェントのAGIや超知的システムは、人間の制御の喪失という問題しか解決しません。そしてそれさえも完全には解決しません。なぜなら、人間が非エージェントシステムをエージェントに変えることができるからです。
オラクルをエージェントに変えるのは簡単です。現在の状態を入力として取り、「この目標を達成するために何をすべきか」という質問を追加するだけです。そうすればエージェントができます。そして出力と、観察した情報を新しい入力として取り込みます。そのループを作れば、エージェントができあがります。
もちろん、そのエージェントは潜在的に危険かもしれません。より重要なことは、たとえそれが危険でなくても、人間が力を得て、他の人間を制御したり、人々を傷つけたりするような質問をすることができるということです。それは軍事的な目標であれ、政治的な目標であれ、あるいは単に経済的な目標であれ。
あなたのPDOは何ですか？
私はこの全体について非常に不可知論的です。本当にわかりません。そのため、私は異なるシナリオについて多くの不確実性を持っていると言うことを好みます。
私が知っているのは、本当に悪いシナリオが、人類の絶滅を含む破滅的な結果をもたらす可能性があるということです。そしてこれらのシナリオのいくつかが起こる理由について、明確な数学的な議論があります。
他にも多くの制御できないことがあります。規制や技術の進歩などです。それは起こらないかもしれないということを意味しません。おそらく解決策を見つけるでしょう。しかしこれらの議論は十分に説得力があり、私たちはその問題に取り組むべきだと言っています。
そして少し緊急性があります。なぜなら、現在の軌道がいつAGIに到達するかわからないからです。
しかし、どれくらい近いかについて感覚はありますか？
繰り返しますが、私は非常に不可知論的です。正直なところ、DarioとSamが言うように数年かもしれませんし、数十年かもしれません。誰も本当の水晶玉を持っていないので、すべてのケースに備える必要があります。
おそらく企業の人々はより多くの情報を持っているかもしれません。しかし異なる企業が互いに矛盾することを言っているので、私はそれ全体を慎重に受け止めるでしょう。
しかしAIについて何をすべきかという集団的な決定や政策の観点からは、もっともらしい最悪のケースを考える必要があります。もし非常に速い場合、私たちは準備ができているでしょうか？技術的な緩和策はありますか？リスクを評価する方法さえありますか？いいえ。
AGIを開発するすべての場所で正しく行うことを確実にするための、社会的インフラストラクチャー、ガバナンス、規制、国際条約はありますか？いいえ、いいえ、いいえ。
しかし、もし20年あれば、政治的な問題も技術的な問題もすべて解決できるかもしれません。しかし現時点では、答えからはほど遠い状況です。
何かアイディアはありますか？私たちは競争的なグローバルな景観にいて、異なる文化、異なる価値観があります。効果的なAIガバナンスシステムをどのように構築できるでしょうか？
最終的な姿は、一人の人間も、一つの企業も、一つの政府も、あまりにも多くの力を持たないようにすることです。つまり、AIをどのように使用するかについてのガバナンス、つまりルールは、多国間で、多くの国々が関与する必要があります。
もちろん、数カ国がリードしているという状況があります。その力を共有することに、彼らの利益はどこにあるのでしょうか？それは、最終的に他の国が理解するからです。核拡散のようなものです。最終的に他の国がそれを理解し、私たちを殺すモンスターを作ったり、私たちを殺す武器を設計できるものを作ったりすることは望みません。
国際的に調整する方法を見つけることが唯一の選択肢である悪いシナリオがたくさんあります。そこに至るまでには多くの障害がありますが、もしその段階に到達し、適切な技術的およびガバナンスの安全装置があれば、私たちは利益を享受し、破滅的な結果を避けることができる世界にいるかもしれません。
そこに至る途中で、米国と中国の競争は一つの障害です。多くの人々が「安全性に配慮するために減速することはできない。それは中国の躍進を許すことになるから」と言う理由の一つです。そして中国も同じことを考えています。それが危険なゲームであることは明らかです。
しかし、他の国々が危険なことをする現実的な脅威もあります。十分な数の主要国が実存的リスクを理解するまでは、条約の交渉や実施は困難でしょう。検証技術が必要になるでしょう。というのも、同じAGIが武器として、あるいは新しい武器を作るために使用される可能性があるため、お互いを信頼できないからです。
では、私の背後で他者が自分に不利になるようなことにAGIを使っていないことをどうやって確認できるのでしょうか。そのための検証方法が1つまたは複数必要です。研究者たちがこれに取り組んでおり、最も有望なのがハードウェアによるガバナンスと呼ばれるものです。
この考え方は、スマートフォンやその他のハードウェアデバイスなどで企業が既に使用している、プライバシーなどの理由で導入されているアプローチに基づいています。チップで実行されているコードについて、暗号技術を使って何らかの保証を得る方法は既にあります。この方向性を推し進めることで、合意された方法でのみ使用できるAIチップを実現できるでしょう。
エラザーがタイムズ誌で、仮説的にデータセンターの爆撃について言及したのを覚えていますか。もちろんそれは極端な例ですが、高度な能力が開発されていることを検知する火災警報のようなものが必要かもしれません。そのような規模の決断が必要になると思いますか?
それは排除できないシナリオです。明らかにそれは避けるべきですが、例えば、AIでは先進的ではないが核兵器を持っている国を想像してみてください。どの国かはお分かりでしょう。彼らは、自分たちが防御できないような兵器を例えばアメリカが開発することを望んでいません。では彼らの選択肢は何でしょうか?そうです、ボタンを押してデータセンターを破壊することです。
もし私の言うことが正しければ、AGIを実行できるデータセンターは軍事資産になるでしょう。これは核兵器を開発した時と同じような状況です。非常に急速な力の不均衡を生み出し、それが波及効果を持つのです。
そういう可能性について、20年先のことであっても考えておく必要があります。1960年代に核不拡散条約が締結されるまでにどれだけの時間がかかったか考えてみてください。交渉は第二次世界大戦直後から始まり、それから約20年かかりました。そしてそれが、私が考えるAGIが実現する可能性が高い時期なのです。
ちょっと悪魔の代弁者をさせてください。AIは私たちが考えているほど賢くないし、これらのリスクは誇張されているという人々もいます。そういう人々に対して何と言いますか?
彼らが正しいことを願います。しかし私が認識しているのは、私たちが今構築しているAIは一部の分野で超人的な能力を持っている一方で、子供でも犯さないような間違いを犯すような人間以下の能力も持っているということです。
もう1つ私が観察しているのは、過去10年間のベンチマークの傾向です。古いものも新しいものも、私たちは明らかに進歩し続けています。あたかも止まることなく飛行機が飛び続けているようです。もしかしたら壁にぶつかるかもしれません。分かりません。しかし、慎重を期すなら、その可能性を考慮に入れるべきです。
つまり、この進歩が数年続き、AIと呼ぶかどうかは別として、能力が十分に危険なレベルに達し、間違った手に渡ると壊滅的な結果をもたらす可能性があるということです。そして最終的には、すべての人間の能力を完全に支配できなくても、十分に超人的な分野があれば危険になり得ます。
説得力は良い例です。これだけあれば十分です。説得力があれば人々をコントロールでき、そうすると人々はあなたの言いなりになります。つまり、すべてを知っているAIは必要ないのです。非常に賢く私たちのボタンを押せばいいだけなのです。
AGIという概念について大騒ぎしていますが、安全性とセキュリティの観点からは、個々の能力について考えるべきです。直交性の原理により、誤った目的を持つと危険になり得る能力について考えるべきなのです。それが他の人間の手にある場合でも、制御を失ったAIの場合でも、そうなることは避けたいですね。
確かにそうですね。あなたはジェフとヤンとともにチューリング賞を受賞されましたね。これは基本的にコンピューティングのノーベル賞です。ジェフは本物のノーベル賞も受賞しました。
そうですね。AIにおけるあなたの生涯の仕事が潜在的に否定的な結果をもたらす可能性について、喪失感を感じると書かれていましたね。これはあなたの人生の仕事です。素晴らしい業績を上げられましたが、それをどう受け止めていますか?
私は人間です。もっと早く気づくべきでした。以前から心配していた学生がいて、彼らがそのことを私に話してくれました。いくつかの論文や本も読みましたが、「それは素晴らしい、誰かがこのことを心配してくれている。可能性を理解するための研究をすべきだ。誰かが取り組んでくれて嬉しい」と思っていただけでした。
しかし、自分自身としては真剣に受け止めていませんでした。ChatGPTが登場するまでは。そこで私は責任があることに気づき、リスクを軽減するために自分にできることすべてをしないと自分自身に納得できないと感じました。
もしかしたらリスクではないかもしれません。しかし、壊滅的なリスクになり得る十分な兆候があるため、自分のコミュニティに逆らってでも方向転換せざるを得ないと感じました。他のAI研究者たちと同様、私も「AIは素晴らしく、社会に多大な利益をもたらすだろう」と言い続けてきました。しかし、その心的イメージを変更して、壊滅的なリスクも含めなければなりませんでした。
これらのアイデアは徐々に浸透していきます。多くの安全性の専門家と話をしましたが、時間とともにアイデアが徐々に定着していくのです。前回インタビューした時、本棚に「The Precipice」があるのを見ましたが、あれはあなたにとって非常に影響力のある本だったと思います。この運動の時代精神について、ここ数年でどのように変化していると思いますか?
私はこの分野では新参者です。学んでいる最中です。去年の半年前に、手紙への署名やジャーナリストとの対話を始めた時、これほどの影響力を持つとは思っていませんでした。コップに半分水が入っているようなものです。このリスクについてのグローバルな認識は大きく高まりました。
しかし、コップが半分空いているのは、リスクに対する認識が非常に表面的だということです。AI研究者のコミュニティでさえそうです。多くのAI研究者と話をして、この議論や討論について読んだり考えたりしているかと尋ねると、ほとんどの場合、見出しを読んだだけで判断を下したという答えが返ってきます。
じっくりと掘り下げて、読んで考え、自分なりの意見を持とうとする人は非常に少ないのです。様々な肯定的または否定的なシナリオの論理を理解しようとする人は少ないです。これはAI科学者についても言えることですし、もちろん一般の人々についてはなおさらです。
一般の人々は参考文献もなく、SF的なテンプレートで考えています。政治家も同じです。
この運動は少し西洋中心主義的ですか?そうだとすれば、なぜそうなのでしょうか?
発展途上国の人々や中国の人々とも話をしていますが、彼らの視点からすると問題は私たちにあるという理解は簡単です。私たちが問題を作っているのであって、彼らの問題は遅れを取っているということです。
彼らは西洋が構築するフロンティアモデルよりも弱いAIシステムを構築することになります。私たちは、より小規模で能力の低いシステムの方が危険性が低いことを知っています。リスクは直接的に能力と関連しています。
リスクは能力と目的、つまり意図から生まれます。能力がなければ大きな害を及ぼすことはできません。彼らの視点からすると、利益を得たいと考えており、取り残されたくないのです。
ちなみに、これは中国についても当てはまります。彼らは少し遅れを取っていると感じています。最近、別の賞を受けにベトナムに行きましたが、彼らは急速に発展しています。テクノロジーや科学を取り入れたいと考えています。
しかし、壊滅的なリスクの問題は基本的に少数の西洋企業の手にあります。彼らには何もできないと考えています。できないと思っています。しかし、AIを展開し、様々なアプリケーションにおけるエンジニアリングのために労働力を訓練し、独自の主権的な能力を構築することで、経済を発展させることができると考えています。しかし、しばらくの間は遅れを取ることになるでしょう。
どれくらいの差があるのかと思います。アリババが非常に強力な言語モデルをリリースしたばかりですよね。問題は、技術的な知識なのか、生データとコンピュータ能力なのか、それともこれら3つすべてに関連する資本なのかということですね。
そうは思いません。もしAIの科学的・工学的進歩を凍結するなら、そこには差はすぐになくなるでしょう。しかしそれは現実ではありません。現実には私たちはAGIに向かって加速し続けています。
例えば、AIのプログラミング能力が向上すると、AIの研究をより速く進めることができるため、「金持ちがより金持ちになる」可能性があります。例えば、フロンティアAIを構築している企業は、まだ展開されていないモデルを持っています。数ヶ月間は彼ら以外誰もそのシステムにアクセスできず、次世代の設計に使用することができます。
最終的にAGIに近づくと、私たちの最高のAI研究者と同じくらい優秀なAIができ始めます。ここで興味深いことが起こります。説明する価値があります。
フロンティアモデルの1つを訓練する場合、数十万のGPUが必要です。将来のモデル、あるいは私たちがまだ知らない現在のモデルでもそれくらいの規模です。しかし一度訓練されると、同じGPUを使って数百のAIのコピーを並列で実行できます。
実際にはもっと多くのコピーを作ることができます。特定のタスクを行う人間として考えるなら、24時間365日稼働できるからです。ある企業が、最高のAI研究者5人と同じくらい優秀なシステムを構築できたとしましょう。トップレベルの研究者です。このAIが訓練された後、5人から50万人に増えるのです。これは大きな飛躍です。
現実には、AIが最高レベルほど優秀ではない中間段階があるでしょう。しかし、AIを作るプロセスにおいて、様々な能力レベルの労働力が増加していくのです。必ずしも急激な転換点があるわけではありませんが、リードしている者がさらにリードを広げていく可能性があります。自分たちのAIを使って進歩を加速できるからです。
これが起こるかどうかは分かりませんが、企業がよく認識している「勝者総取り」の様相を持つもっともらしいシナリオです。これが企業が競争している理由の1つです。2番手でも十分だと考えていれば、それほどの圧力はないでしょう。しかし彼らは皆、これは勝者総取りのゲームだと考えているのです。
ヒントンがよく言っていることですが、フォン・ノイマンのような1000のAIエージェントがいて、1000倍速く物事を処理できるとしても、本当にそのようにスケールするのでしょうか?神話の通り、ソフトウェアエンジニアリングでは、チームに新しい人が加わるごとに、共有のボトルネックが生じてうまくスケールしないという「神話的人月」があります。人間はそうなのですが、なぜAIは違うのでしょうか?
まず、根本的な違いはバンド幅です。人間同士のコミュニケーションのバンド幅は非常に小さく、1秒あたり数ビットです。一方、コンピュータ間のコミュニケーションのバンド幅は、正確な数字は分かりませんが、100万倍以上の差があります。これが、作業を並列化できる大きな理由の1つです。
ちなみに、これはLLMが私たち個人よりもはるかに多くのことを知っている理由でもあります。10万のGPUがそれぞれインターネットの異なる部分を読み、高バンド幅の通信を通じて学習を共有できるからです。重みやグラデーションが共有されるのです。これは同じプロセスです。
つまり、コンピュータ間のコラボレーションは、人間同士のコラボレーションとは大きく異なる可能性があります。まるで1つの有機体のように、より密接に結びついたものになり得るのです。
その議論は分かります。人間が互いを理解するのが難しい理由は、非常に状況依存的な知識と表現を持っているからだという直感があります。言語モデルでさえ、文脈に多くの注意散漫な要素があるため、01は混乱しやすくなります。
奇妙なことに、これらのニューラルネットワークの重みをすべてコピーしても、異なる軌跡を辿り、情報を共有するため…これは推測ですが、私たちが考えているほど大きな向上はないかもしれません。
そうですね、これは10年前は問題でしたが、今では10万のGPUをクラスターに配置できる程度には解決されています。100万や1000万でも同じレシピが通用するとは言えませんが、エンジニアたちは少なくとも訓練に関しては非常に効率的な並列化の方法を見つけました。
推論はさらに簡単です。しかし、ある意味でタスクを一緒に解くことは訓練に似ています。効率的であるためには多くの情報交換が必要だからです。明らかに私には答えはありません。これが障害になるかどうかは分かりません。
ただ、条件が大きく異なることは確かです。並列化の限界は非常に異なるかもしれません。最終的には障害になるかもしれませんが、それは私たちの人間としての経験からはかけ離れているため、依然として大きな優位性となるでしょう。
ハイパースケーラー(大手クラウド事業者)はどの程度責任感があると思いますか? 例えばダリオは最近、加速主義者になりつつありますが、それについてどう思いますか?
中国についての懸念は理解できます。しかし、これは間違いだと思います。ダリオ自身はこの間違いを犯していないと思いますが、「西洋である私たちがリードを保ち、安全性に適切に対処しない」か、「減速して安全性に適切に対処し、その結果中国に追い越される」という2つの可能性しかないと考えるのは間違いです。
私たちには、リードを保ちながら安全性を適切に確保するのに十分な資本と人材があります。そのためには、安全性のバケツに十分な資本を投入することが重要です。人類の生存が危機に瀕していることを理解すれば、それは明らかに価値があります。
民主主義が危機に瀕していることを理解すれば、リードを保ち、民主主義がリードを保つことを確実にしたいと思うはずです。ちなみに、民主主義がリードを保つことを考えると、アメリカだけがリードを保つのではなく、他の民主主義国も含めることが重要だと思います。
この理由からも、AGIに向かって安全に進むために、すべてのリソースを結集する必要があります。アメリカだけでなく、他の民主主義国からの資本、人材、エネルギーが必要です。データセンターを動かすためのエネルギー、アメリカだけでは不十分かもしれない電力網など、必要なのです。
適切な決定を下し、複数の民主主義国が協力すれば、安全性と民主主義的優位性の両方を達成できる可能性が高まります。
最近ゲイリー・マーカスと話をしましたが、彼はシリコンバレーの企業について、タバコやソーシャルメディアなどと同じように、十分な規制がないと言っていました。例を挙げると、レックス・インタビューでのダリオは、ある知能のレベルに達した際のガイドラインについて語っていましたが、もちろんその基準は彼ら自身で決めています。
01モデルでは、アポロ・リサーチが多くの安全性エンジニアリングを行うなど、素晴らしい取り組みをしています。良いことをたくさんやっていますが、規制されるべきだと思いますか?
はい、当然です。企業に自分の宿題を採点させたくないのは明らかです。公共の利益を代表する、外部の中立的な評価が必要です。
本当の問題は、規制すべきかどうかではなく、どのように規制するかです。どうすれば進歩を妨げることなく、リスクを軽減できるでしょうか。答えはあると思います。
一般的な原則は、企業にリスクをどう評価し、軽減すべきかを指示するのではなく、透明性を主要なツールとして良い行動を促すことです。透明性がなぜそれほど強力なのか説明させてください。
まず明らかなのは、少なくとも民主主義国では、企業は良好な公的イメージを保ちたいと考えています。第二に、リスク評価が公文書になるか、少なくとも裁判官が見ることができる文書になれば、訴訟を避けたいと考えます。
国家安全保障上の理由で一部は編集されますが、裁判官は完全な情報にアクセスできるはずです。そうすれば裁判官は「安全性に関する最新の技術水準を考えると、十分な対策を講じていなかった。公衆を保護していなかった」と宣言するのに十分な情報を持つことになります。
そして今、数十億ドルを失った人々やグループがあなたを訴えており、彼らは正しい…あなたはもっと良い対応ができたはずです。影響は明らかです。危険な行為をして訴えられる可能性があることを知っていれば、企業としてリスクについて正直でなければなりません。
このような訴訟を避けたいなら、まず自分がどのようなリスクを取っているのかを知る必要があります。そしてこれらの可能性のバランスを取るために、どうコントロールするかを考えなければなりません。突然、私たちが望むことをしなければならなくなるのです。
これが完璧なプロセスだとは言いませんが、少なくとも簡単なものです。企業は登録を義務付けられるべきです。政府は、潜在的に危険な大規模なシステムが何かを知る必要があります。
そして登録したシステムは、合理的な範囲で、政府と公衆に対して、いわゆる安全性とセキュリティのフレームワークについての計画、行った評価、その結果、計画している軽減策、実際に実施した軽減策を説明する必要があります。
企業がある水準に達したら○○をすると言って、実際にはそれを実行しなかった場合、何か悪いことが起これば訴えられる可能性があります。それほど透明性は強力なのです。
国家が企業に正確に何をすべきか判断し指示する必要はありません。情報の開示を強制するだけです。政府がすべての専門知識を持っているわけではないので、独立した第三者が必要かもしれません。
ただし、その評価機関がAI企業から報酬を受けないよう注意が必要です。金融から教訓を学ぶ必要があります。能力と安全性の両面で最善のことを企業が決定することを妨げず、安全性におけるイノベーションを刺激する合理的な道筋があると思います。それこそが今私たちに本当に必要なことです。
非常に実用的に聞こえます。FLOPSの規制については少し懸念がありました。サラ・フーカーがそれについて素晴らしい論文を書いていましたね。
これらの企業が参加しているメタゲームは何でしょうか? サム・アルトマンが上院で規制を懇願していたのを覚えていますか? それは単なる規制の取り込みだと考えるべきでしょうか?
それ以上に悪いことに、人々は無意識のうちにバイアスを持つことがあります。心理学者が「動機づけられた認知」と呼ぶものです。彼ら自身は誠実かもしれませんが、自分たちにとってより良い物語、より美しい役割を演じさせる物語を信じてしまうのです。私たち全員がそうです。
そのため、デフォルトでは彼らが誠実だと仮定しますが、人間は自分自身を欺くことができるため、金銭的または個人的なインセンティブを持たない、公共の福祉のみを目的とする別の目が必要です。
安全性の面では、まだ多くの未解決の問題があります。先ほど言ったように、より多くの研究が必要なのは明らかです。適切なインセンティブを設定する必要がありますが、多くの異なる研究の方向性、多くの方向性が必要だということを強調したいと思います。
評価、軽減、さらにはAIの構築方法の再設計に役立つすべてのプロジェクトを歓迎すべきです。私の意見では、これは非常に重要なので、人類の最優先プロジェクトであるべきです。私たちの未来がかかっているからです。
そして今、能力面でも安全性の面でも、誰もが同じことをしているか、2、3の異なることをしているという集中が少しあります。能力面では、誰もが同じようなLLMやRHF、どんなレシピであれ同じようなことをしています。そして今、誰もが内部的な熟考をすることになるでしょう。
安全性の面でも多様性が不足しています。より広く投資する必要があり、これは学術界が役立つ場所です。学術界は自然により広く探索するからです。
時として学術界が適切な手段でないこともあります。能力の向上につながる可能性のある安全性プロジェクトを行う場合、学術界は適切ではないかもしれません。企業が研究を公開しなくなった理由と同様に、その知識を公開したくないかもしれないからです。
彼らの場合、商業的な競争と、敵対者がその知識を私たちに対して使用することを懸念する両方の理由があります。あるいは、誰かがその知識を使って間違いを犯し、モンスターを作り出す可能性もあります。
そのため、一部の研究は学術界で、一部の研究は理想的には非営利組織で行う必要がある正当な理由があります。もちろん研究の大部分は産業界で続けられるでしょう。安全性についても同様です。しかし、適切なインセンティブを設定する必要があります。
これは前置きですが、現在、AGIを構築するためにはエージェンシーの問題を解決する必要があるという考えが一般的です。私の主張は、実際にはそうではないということです。エージェントではない、本当に有用な機械を構築することができ、それによってリスクを大幅に削減でき、多くの利益を得ることができます。
エージェンシーへの道を閉ざすことなく、安全な方法でそれを行うことができるのです。
非常に興味深いですね。もちろん、学術界がフロンティア研究を行うためには何十億ドルも必要になりますね。
それはもう1つの問題です。それも、AGI研究のための別の手段を作る必要がある理由の1つです。公的で、非営利で、人類の最大の課題に対処するためのAIを志向し、安全性を第一の原則とするものです。
しかし、それには複数の政府と何十億、何十億ドルが必要です。人々は「AIのCERN」について話しています。それは重要な絵の一部だと思います。
インセンティブの衝突もありますよね。安全性に非常に注力しているスタートアップがいくつかありますが、収益性を確保するためには能力開発にも取り組まなければなりません。これは難しい問題を解決する必要がありませんか?
はい、しかし多くの安全性スタートアップは…それは状況次第です。評価などの能力を向上させない分野に取り組んでいるスタートアップもあります。例えばエレイザーのスタートアップは、あなたが考えているようなタイプだと思います。
あなたの技術論文についていくつか話しましょう。正直なところ圧倒されます。この1年だけでも多くの論文を発表されていますが、「RNNsは本当に必要だったのか?」という論文が特に目を引きました。その概要を説明していただけますか?
2014年に、現在産業界や学術界で使用されている注意機械のメカニズムを導入した時、実はRNNをエンジンとして使用していました。これは2017年のTransformer以前のことです。
RNNには通常の設計において問題があり、シーケンスに対してトレーニングを簡単に並列化できないということです。一度に1つずつ処理しなければなりません。例えば単語のシーケンスがあり、ニューラルネットは1つの単語を処理し、次の単語を処理し、その次の単語を処理する必要があります。
次のステップに供給するために、前のステップから内部状態、つまり再帰状態を構築する必要があります。通常のCPUを1つだけ使用する場合は問題ありません。しかしGPUの時代では、1000倍の並列化が可能なのに、シーケンシャルに処理しなければならないため、どうすればいいのかという問題が生じます。
当時、例えば例間の並列化など、いくつかの対策を講じましたが、並列化の一部は失われてしまいます。もちろんTransformerでは、基本的に同じアーキテクチャを使用しますが、再帰性を取り除きます。
そして今では、シーケンス全体を一度に処理でき、グラデーションを取得できます。ここ数年、私たちの論文だけでなく、いくつかの論文で、アーキテクチャに再帰性を少し戻す方法を探求し始めています。これには実際の利点がいくつかあります。
適切なアーキテクチャの調整により、これらのことは可能です。既に多くの可能な設計があり、少なくとも小規模ではTransformerを上回り始めています。大規模では…分かりません。しかし、明らかに再帰性にはいくつかの利点があります。
ちなみに、金曜日にセップが来ますよ。
はい、彼がXLSMについて全て説明してくれるでしょう。しかし、ある意味で、アーキテクチャやゲーティングメカニズムを過度に複雑にしすぎたのではないかと思いませんか?それはどの程度必要だったのでしょうか?
いいえ、そうは思いません。これらのゲートは実際に有用です。以前GRUを開発しました。これはLSTMを簡略化したものですが、2つのゲートをほぼ完全に取り除くことができることが分かりました。
しかし、最大限の力を得るためにはまだその複雑さが必要です。トレードオフがあります。表現力は少し失われますが、はるかに速く処理できるため、より大きなモデルをより長く訓練できるという大きな利点があります。
現在のところ、そのトレードオフは有益です。それはうまく機能しています。
素晴らしいですね。もう1つの論文、「複雑性に基づく構成性の理論」についてですが、フォーダーとポイジンに学んだ私としては、ニューラルネットワークは構成性を実現できないという議論が常にありました。これについてどう思いますか?
それは直感以外に何も支持されていない非常に強い主張だったと思います。
面白いですね。続けてください。
私たちの脳はニューラルネットですよね。何が違うのでしょうか?
違いは、現在のニューラルネットがシンボリックな処理をどのように行っているのかが明確ではないということです。先ほど言ったように、現在のトリックは入出力ループを使用してシンボルの生成を導入することです。内部的な熟考、思考の連鎖などです。
しかしそれは完全に満足のいくものではなく、明らかに脳で起こっていることとは異なります。ただし、この論文はアーキテクチャについてではありません。構成性をどのように定量化するかということについてです。
これはよく定義された概念ではありません。専門家は直感を持っていますが、実際には異なる側面があり、単純なものではないと思います。この論文や他の研究では、数学的な式を使って、構成性についての私たちの直感に合うものを定量化しようとしています。
しかし一般的に、ここ数年の私の研究の多くは、ニューラルネットの計算の中にシンボリックなものを組み込むことについてです。これらのGフローネットやジェネラフローネットワークは、一般的に確率的推論機械です。
つまり、決定論的ではなく確率的な計算を持つニューラルネットを考えてください。その一部は連続的で、一部は離散的である可能性があります。シンボルは離散的な領域に存在します。
もちろん、これらの問題は、もはやバックプロパゲーションで通常の方法では訓練できないということです。そこで、確率的推論、償却推論、チーフレート、合理的推論など、これらの機構を訓練できる原理やアイデアを考案してきました。
ある意味で、これは強化学習に近いものです。強化学習では通常、エージェントが取る一連の行動を考え、それらは離散的である可能性がありますが、それでもグラデーントを得ることができます。
しかし今、同じような原理や関連することを考えてください。ただし、行動は世界の中ではなく、あなたの心の中にあります。行動は計算についてです。次にどの計算をすべきか、次にどのような熟考をすべきか、答えを出すため、何かを証明するため、説明を考え出すためには、心の中でどのような熟考をすべきかということです。
これらが、ニューラルネットに欲しい種類の能力です。現在のところ、本当の意味でのシステムの能力はありません。
前回のインタビューでそのことについて話した時、私の共同ホストのドクター・ダガーがそれをグーンボードに例えていましたね。小さなビーズを通して、各ステップで確率を制御できるあのおもちゃのようなものです。
その通りです。まさにその通りです。
そして、マルコフ連鎖モンテカルロの代替案だったと記憶していますが。
はい、これらは確率的なので、生成モデルとして考えることができます。サンプリングをしますが、最後のステップだけでなく、拡散ニューラルネットのように全過程でサンプリングを行います。
ニューラルネットが何かを計算し、ノイズを加え、それを繰り返し繰り返すので、確率的なプロセスです。離散バージョンも作ることができ、Gネットは拡散プロセスの離散バージョンです。連続と離散を混ぜることもできます。
これは脳の働き方により近いものです。脳は確率的で、離散性も持っています。離散性は明白ではありません。この離散性は、何かを意識する時の脳のダイナミクスが収縮性を持つという数学的な性質から生じます。
これは、このダイナミクスが到達する可能性のある場所の数が離散的な集合になることを意味します。連続的な軌道を持つのではなく、一群の軌道がある場所に向かい、別の群の軌道が別の場所に向かうのです。
これらの場所はシンボリックです。可能な状態の全体集合を分割するからです。あなたはこのグループかあのグループかこのグループにいることになります。これらのグループの数は指数関数的に大きいですが、離散性が得られます。
つまり、脳は二重の性質を持っています。ある角度から見ると、単に活性化のベクトルの集まりのように見えますが、別の角度から見ると、「どの領域にいるのか、これはこの思考、このシンボリックで構成的なオブジェクトだ」というように読み取ることができます。
なぜ離散性が必要なのでしょうか?
それは良い質問です。
明らかに、私たちは離散性を多く使用しています。数学は基本的にすべてシンボリックです。連続量についてのシンボルを操作する場合でも、これらのシンボルを得ます。
離散性は抽象化を構築することを可能にします。連続的なベクトル空間から、あまり重要でないかもしれない詳細を取り除いた文章に移行することを考えることができます。そうすることでより良い一般化が可能になります。
特に、離散空間では自然に多くの構成性が現れます。言語のようにです。それは非常に強力で、他の方法では明白ではないような方法で一般化することを可能にします。
物理的世界の異なるスケールレベルで、出現の階段において、離散と連続の間のこの種の揺れが見られるのは興味深いですね。おそらく生物学的世界でも、あるスケールでは物事が単純化され圧縮され、その後拡大し、再び圧縮されるという、この種の運河化が見られます。
ニューラルネットワークでもそれをしています。拡大し、圧縮します。
実世界には多くの離散的な現象があります。例えば細胞の種類です。細胞の行動の収束もそうです。私もそれを少し研究しました。物理学では相転移などがあります。
ダイナミクスに関して言えば、収縮性のダイナミクス、つまり2つの近接点が次のステップでより近くなるというダイナミクスを持つ場合、通常、離散性が現れます。これは自然界の多くの現象や私たちの脳で起こっています。
最後に、創造性に関する記事を研究しています。あなたの言葉を引用させていただきたいのですが、創造性の定義は何でしょうか?言語モデルは人間よりも創造的になり得ることを示した論文も出されていましたね。
良い質問です。創造性には異なるタイプがあると思います。現在のAIで人々が見ているものについて話すと、既知の概念の組み合わせによる創造性があります。実際、最新のLLMでそれはかなりうまくできています。
もう1つの種類の創造性は、新しい科学的なアイデアのようなものです。私たちが既に知っているものの組み合わせですが、それを既知のものの観点から定義するからです。しかし、これまで経験してきたものからはるかに離れています。
この種のより型破りな創造性には、より探索的な計算が必要だと私は考えています。科学研究を行う時、ある種の探索があります。これを試し、あれを試します。もちろん直感は重要です。しかし、一発で解決策が出るわけではありません。
アルファ碁のように、探索と直感があります。現在のLLMなどでは、探索の部分からの利益はまだ得られていません。
組み合わせ的創造性と発明的創造性の間には境界がありますが、それが明確な境界なのか、曖昧な柔らかい境界なのかは分かりません。しかし、この範例的に発明的な創造性をどのように測定できるでしょうか?
分かりません。AIが実際に誰も考えていなかった真の発見をした時、私たちはその領域に入っていることが分かるでしょう。しかしそれはテストとして実行できるものではありません。
しかし、数学的なレベルでは、直感プラス探索のような、システム1とシステム2のような方法論を設計できると思います。それが実を結ぶと信じています。
では、どのように定量化するのでしょうか。科学的発見は、説明の空間における高確率のモードを見つけることに関係しています。モードとは、世界がどのように機能するかについての説明の中で、高い確率を持つ説明のことです。
多くの可能な説明があり、良い説明はデータをうまく説明します。新しい発見をする時、データに適合する新しい潜在的な説明を発見します。これを小規模な問題に抽象化して、確率的機構のジャーゴンでモードの発見として捉えることができます。
AIが良いものをすべて見つけようとするのは扱いきれませんが、知らなかった新しいモードを見つけるのはより効率的かもしれません。一部のタスクはこの能力に焦点を当てて設計できます。つまり、この質問に答える方法はあると思います。AGIを解決する必要もなく、小規模な世界でより創造的なアルゴリズムを設計できるのです。
創造性を認識論的な採餌として捉えるのが好きです。それに本質的な価値を与えるからです。しかし、それは社会的な現象、あるいは観察者に関連する現象かもしれないという考えもあります。
例えば、MO-37は実際には集団として認識するようになったものであり、そのように機能するのかもしれません。しかし、考え方は様々あり得ます。
そうですね。予期しなかった囲碁の手はそれを考える良い方法だと思いますが、もう少し一般的で抽象的なものとして、このモードの発見について考えたいと思います。
あなたが言うように認識論的な採餌です。その用語が気に入りました。それはカール・フリストンの用語ですね。
ああ、そうですか。その通りです。それは採餌であり、探索です。良いものを見つけた時は分かりますが、それがどこにあるのかは分かりません。では、非常に高次元の空間で良いものがどこにあるかをどのように推測するのでしょうか?
良い直感が必要ですが、それには少しの探索が伴う必要があります。ちなみに、人間の場合、その探索の多くは個々の脳の中ではなく、集団のレベルで起こっています。
その通りですね。
ベンジオ教授、本日は時間を取っていただき、ありがとうございました。大変光栄でした。
ありがとうございます。お招きいただき光栄です。
素晴らしい。
コメント