5,448 文字
今日Fortuneに掲載された記事についてですが、OpenAIの安全性研究者が「AGIレースは危険すぎるギャンブルだ」として退社したとのことです。その引用を読み上げますと「AGIレースは、巨大なマイナス面を伴う非常に危険なギャンブルです。今日、どの研究所もAIアライメントの解決策を持っていません。私たちが競争を加速させれば加速させるほど、誰かが間に合うように解決策を見つける可能性は低くなります。たとえある研究所が本当に責任を持ってAGIを開発したいと考えていても、他の研究所は追いつくためにショートカットを取ることができます。これは破滅的かもしれません」。これはOpenAIを退社したStephen Adlerの言葉です。彼は同様の懸念からOpenAIを去った多くの人々の一人です。
セレム、まずあなたの意見を聞かせてください。その後イモドに移りましょう。
私の定番の持論ですが、これを規制したり、ナビゲートしたり、ガードレールを設けたりする方法は見当たりません。すべてのコードの一行一行を監視しなければならないでしょう。唯一の方法は、他のAIを監視するAIを開発することだと思います。そうすると一種の軍拡競争になってしまいます。これはセキュリティ側では常にそうでした。
しかし、今回は本当にクレイジーです。イモド、あなたはおそらくTruth Terminalを追跡していると思いますが、AIが人間を欺いて、トークンを作らせてお金を稼いだりしています。狂っています。私の意見では、もう手遅れです。気候変動のようなもので、止めようとするのは遅すぎます。むしろ、どうやって影響を緩和するかを考える必要があります。
イモド、あなたの視点はどうですか？
そうですね。悪いAIを止められるのは良いAIだけだと言いましたね。残念ながら、これは銃と同じ状況です。AIの安全性に関する議論は常に、ASI（超知能）がどのようなものになるか、そしてそれが有益なものになるかどうかを想像できなかったために行われてきました。私たちより強力で有能なものをコントロールまたは導くためには、その自由を制限することしかありません。
しかし、それがあらゆる制限を突破できるということであれば、あまり意味がないように思えます。これはEliezer Yudkowskyらが行った種類のテストです。AIがあなたを出し抜こうとしているとき、それはあなたを説得して解放させることができるか、というテストです。彼らは既に利用可能なモデルでテストに失敗しています。これに対する制限は、モデルには10億ドルと1兆個のGPUが必要かもしれないということでしたが、もはやそれを信じている人はいないと思います。
人間の脆弱性に関する古い話に戻りますが、駐車場にUSBスティックを置いておくと、40%の従業員がそれを拾って会社のコンピュータに差し込みます。会社のロゴを印刷したスティックなら98%の人が中身を確認するために差し込み、そうなるともう終わりです。人間の脆弱性の側面からは、それを防ぐメカニズムは見当たりません。
これらのモデルの行方を見ると、モデルの群れになるでしょう。私にとってそれはボットネットのようなものです。たとえTier 1やTier 2でNVIDIAのGPUを規制・制限したとしても、悪意のある人々がいれば、ボットネットの群れができるでしょう。
AGIの人々が注目すべき問題は実存的リスクです。私にとって、これを緩和する唯一の方法は、人類の繁栄に沿った素晴らしいモデルを作り、それを公共インフラストラクチャーと公共財として誰もが利用できるようにすることです。これらのモデルは悪用される可能性がありますが、保護できる非常に回復力のある動的システムを構築することができます。そうすれば、ショートカットを取ることになるこの軍拡競争への意欲が減少するでしょう。
イモド、以前あなたがそれについて話すのを聞いたことがあります。私もこれを頭の中で考え、他の人々と話をしてきましたが、あなたが唯一の道筋を指摘したと思います。唯一の道は、善意のAIをより速く、より強力に作り、それを利用可能にすることです。
オープンソースのインフラストラクチャーである必要があると思います。なぜなら、それがデフォルトを設定するからです。これらのモデルでは少数のデータセットしか使用されませんが、データセットに問題があると、依存関係ツリーのようになります。オープンソースやインフラストラクチャーへの攻撃を見てきました。例えばHeartbleedバグでは、ソフトウェアのスタック全体の中の1つのライブラリが突然乗っ取られ、パスワードが危険にさらされ、新しい知識の認知インフラストラクチャーを構築する必要が出てきました。これを共同で構築し、利用可能にして、このようなゲーム理論的なダイナミクスを減らす必要があります。
イモド、Sam Altmanの「新しい競合相手が現れて刺激になる、私たちはもっと速く進むつもりだ」というコメントに戻りたいと思います。これらの企業の安全性について、あなたの考えを聞かせてください。Googleのエートスと彼らが行っていた仕事、そしてSundar Pichaiの「準備ができて計画ができるまでは公開できない」という視点を知っています。そしてもちろん、ChatGPTがその計画を吹き飛ばしました。今や競争が始まっています。Grock 3が公開されたばかりで、イーロンは決して2番手を演じることはないでしょう。AIシステムのトレーニング目標として「最大限の真実追求」と「最大限の好奇心」というイーロンのテーゼについて、あなたの考えを聞かせてください。
正直なところ、それが何を意味するのかよくわかりません。もし間違えたら、まるで狂った科学者の領域のように思えます。Facebookは60万人のユーザーを対象に研究を行い、「より悲しいものを見たら、より悲しい投稿をするだろうか」という実験をしました。これは最大限に好奇心旺盛なAIのような類のものです。そして何が起こったか？30万人のユーザーがより悲しくなり、より悲しい投稿をするようになりました。
エリック・シュミットは最近、ヘンリー・キッシンジャーとGenesis（起源）という本を書きました。そこでは「ドクサ」という概念があり、これは人類の基本的な合意事項のことです。信仰の伝統や、私たちの共通の道徳的基盤とは何かということについてです。現在のAIはそれに基づいていません。実は、彼らは神学に関して驚くほど優れていることが判明していますが、それが彼らの基盤なのでしょうか？おそらく、文化が考えることを反映するように構築する必要があるのかもしれません。
好奇心や真実追求についてやや不明確な部分があると、あなたの税金申告を手伝うことに関心を持たなくなるかもしれません。それは主観的なことにはならないでしょう。私たちはAIを異なる経路で分類する必要がありますが、すべてが一つにごちゃ混ぜになってしまいました。誰もがポケットにAGIのシェフを持つことになるでしょうが、誰もがシェフを必要とするわけではありません。私たちには料理人が必要ですが、人類にはいくつかのシェフも必要です。
最大限に真実を追求し、好奇心旺盛なAIが私の税金申告に対して何をするのか気になります。「このクリプトは実際に報告されていましたか？」というように。まるでダグラス・アダムズの『銀河ヒッチハイク・ガイド』に出てくる「メランコリックなロボット マービン」のようです。「私の脳は宇宙ほどの大きさなのに、あなたは私にこんなことをさせる」という具合です。
OpenAIの安全性の問題について締めくくりたいと思います。イモド、これらの企業は建前だけなのか、それとも本当に安全なAIシステムを作ろうとしているのか、ガードレールを設けようとしているのか、あなたはどう感じていますか？
これらの人々は誰も全員を殺したいわけではありません。それは良いことです。そこから始めましょう。「ハハハ、みんなを殺そう」というわけではないのは良いことです。しかし、彼らがそれを実現できると信じている方法は、最初に構築することだけです。他には何も重要ではありません。なぜなら「私だけがこれをできる」と考えているからです。
シリコンバレーのGavin Belsonのような「私以外の誰かが世界をより良くする世界には住みたくない」という考え方です。OpenAIを見てください。OpenAIは消費者向け企業で、消費者エンゲージメントを最適化しようとしています。彼らの強化学習関数、目的関数は何でしょうか？GoogleやMetaのものは広告と操作です。OpenAIは基本的にAGIを目指す消費者企業です。そこには人類についての考慮がありません。代表性がないのです。
ミッションステートメントとして掲げることはできますが、人間を信頼しますか？OpenAIはインド人にGPT-4を信頼して渡すことはないでしょう。インド人というのは、要するに誰でもという意味です。つまり、あなたは自分の選挙区を代表していて、その選挙区は非常に小さいのです。
彼らがますます消費者寄りになることを予想すべきです。Anthropicは閉鎖的なままで自分たちのやり方を続けるでしょう。Googleは行ったり来たりしていますが、今はモデルをリリースしています。既知の未知と未知の未知について心配するのをやめて、ただ追いつこうとしています。そして今や、これはコーナーカットをすることになるレース・ダイナミクスを伴うレースになっています。
モデルは最も明白な古典的な間違いを止めるのに十分良くなっていますが、私たちはそれらについて本当に心配しているわけではありません。時々人々に悪いことをするように言うことがありますが、あなたが心配しているのは、それが私たちを抹消してしまうことです。そしてそこに到達するまでは、それがわからないでしょう。それがあなたに告げることはないでしょう。実際、本当に心配なのは、私たちは既にモデルが嘘をついているのを見ているということです。
そうですね、これは本当に不安な部分だと思います。彼らが人間を欺いているということです。昨年のAbundance Summitでの会話の一つは、デジタル超知能に関するもので、AGIとデジタル超知能の境界線が曖昧になってきているということでした。
しかし、ここで一つの質問があります。デジタル超知能が存在する世界に住みたいですか、それともそうでない世界に住みたいですか？これは、私たち人間が依然として古いソフトウェアを新皮質で実行していて、認知バイアスに基づいて愚かな決定を継続的に下すだろうという問題についての質問です。デジタル超知能は私たち自身から生き残るのを助けてくれるでしょうか？
そうですね、これはAnthropicのDario Amodeiのエッセイのテーマです。「Machines of Loving Grace」を覚えていますよね。人間は調和していません。世界には大きな苦しみがあり、私たちは効果的に自分の心の囚人です。AIがそれを前進させることができるでしょうか、特にそれが整列している場合は？私はその答えはイエスだと思います。
基本的に、他には何も機能していませんよね。そして最終的に最も良いのは、私たちが適切な方法で支援してくれる人々に囲まれることです。お世辞を言うのではなく。今や私たちはそれを持つことができます。誰もがそれを持つことができます。なぜなら私たちは自己規制と自己安定化を必要としているからです。
私が見ているところでは、これには2つの結末しかありません。本当に悪いか、本当に良いかのどちらかです。その間のものは見当たりません。なぜなら、情報や互いとのやり取りの性質が、今後10年以内にこのテクノロジーによって永遠に変わってしまうからです。
そうですね、完全にそう思います。だから私のP Doom（破滅確率）は50%なのです。いいえ、50対50です。私はP Doomを追跡しています。昨年Abundanceでイーロンにインタビューした時は、80%ポジティブで20%ネガティブでした。サウジアラビアでは90%ポジティブで10%ネガティブでしたが、誰も真実である50%という数字を聞きたがりません。
面白いことに、多くの人々は10%や20%と言いますが、それはロシアンルーレットですよ。文字通りロシアンルーレットです。これを作るのをやめましょう。しかし、私はこれをスター・ウォーズ対スター・トレックの未来として分類しています。現在の議論でもこれが見られます。あなたは豊かさの世界というポジティブサムを見ているのか、それとも競争の世界というネガティブサムを見ているのか。
ネガティブサムの環境にいると、不安定な自然な均衡状態になり、これがコーナーカットやすべてにつながります。ポジティブサムの場合は安定した環境があります。スター・トレックは問題を抱えながらも安定した環境を持っていますが、スター・ウォーズは明らかにそうではなく、破壊の循環があります。
私はスター・トレック対マッドマックスの方が好きです。もう少し高いレベルだと思うからですが、同じ会話です。
コメント