9,672 文字
私の立場としては、完全にブレーキをかけるのは時期尚早やけど、ブレーキは設置すべきやと思います。ただ今の状況では全くブレーキがないんですね。
ケイシー: はい、また「y」で終わる日がやってきて、OpenAIからまた上級幹部が退社しましたね。
ケビン: せやな。昨日以来やけど、明日までには また起こらへんやろか。でも今回は話し合う必要があると思うんです。なぜかというと、これは単なる若手社員やなくて、マイルズ・ブランデージという方で、OpenAIのAGIレディネス上級顧問として6年間在籍してはった人なんです。
マイルズは先週、独立したAIポリシーの研究と提言活動に専念するために退社を発表しました。今年OpenAIを去った多くの上級幹部の一人というだけでなく、AGIレディネスという部門の責任者だったわけです。
これは、ますます強力になるAIを開発していく中で、安全に公開して、社会が恩恵を受けられるようにし、リスクを軽減するための取り組みなんです。
でもケビン、ご存知の通り、この部門とその前身部門の本当の話は、ここ数年混乱が続いているということですわ。チームは常に再編成され、名前が変わり、人々が辞めていき、その中には自分のAI企業を立ち上げた人もいます。そのため、今この会社の中はどうなっているのか、どう変化しているのか、そしてそれがOpenAIのスーパーインテリジェンスを安全に構築しようという取り組みにどう影響しているのかについて、多くの疑問が出てきているんです。
ケビン: せやね。マイルズがOpenAIを去るという発表は大きな注目を集めました。彼はこれらのシステムのリスクについて声を上げてきた非常に著名な人物でした。また退社の際に、OpenAIも他のフロンティアAIラボも、そして社会全体もAGIに対して準備ができていないと考えているとも述べており、多くの人々を驚かせました。
このプロジェクトにこれほど長く熱心に取り組んできた人物がそう公言するということは、私たちには見えない何かを彼らは見ているのではないかという疑問を投げかけますよね。
そこで今週、私たちはマイルズにOpenAIを去る決断をした理由と、なぜ独立した研究の道を選んだのかについて話を聞きました。また、会社での経験から、OpenAIも世界も来たるべきものに対して準備ができていないと感じた理由についても聞いています。
マイルズについて知っておくべきことは、OpenAIを去ったものの、OpenAIは彼の新しい取り組みを資金面でサポートすることを申し出ているということです。そのため、インタビューでは話せないことがあるかもしれませんし、声にためらいが感じられるかもしれません。それでも、過去6年間その会社で学んだことについて、できるだけ多くの情報を得ようと思います。
ケビン: はい、ここ1,2年で見られる傾向として、これらのシステムがより強力になり、より主体的になり、コンピュータを使用できるようになるにつれて、大手AI企業からの「皆さんは理解していない、これらは全て思っているよりずっと早く起こる」という緊急性を帯びたメッセージは増すばかりです。この問題は、業界外の人々よりも、技術開発に携わる業界内の人々の方が真剣に受け止めていると思います。
これは、退職時期を含めて、あなたの人生に実際の影響を及ぼす可能性がありますね。ケビンと私は常にそのことを考えています。
常にそれについて考えていますか？
私は本当に疲れていますよ、ケビン。
そして、いつものように、ニューヨーク・タイムズがOpenAIとMicrosoftを著作権侵害で訴えていることを開示しておく必要があります。
もう和解できないんですか？
いや、それは私の担当分野じゃないんです。
では、マイルズ・ブランデージをお迎えしましょう。
マイルズ: ハードフォークにお招きいただき、ありがとうございます。
最近OpenAIを去って独自のAGIレディネス研究を追求することを選んだ理由からお聞きしたいと思います。まず、AGIレディネスとは何か、あなたが何をしているのか説明していただけますか？
マイルズ: はい、基本的に私は研究者で、AIという技術がどこに向かっているのか、どんな影響があるのか、そしてその影響に対して私たちは準備ができているのか、安全性の問題やら経済的な問題やらにどう対処するのかということを理解しようとしています。
AGIレディネスチームで実際に何をしていたのか教えてください。AIが特定の能力を獲得した場合に何が起こるかについて考え、それを文書にまとめて、その後どうなるんですか？製品チームに渡されるんですか？あなたが共有した研究に基づいて、OpenAIは実際に何か変更を加えたんでしょうか？
マイルズ: まず、レッドチーミングや敵対的なテストに関わって、これらが安全であることを確認し、外部の専門家との協力を始めました。虚偽情報やバイアスなどの専門家にこれらの技術への早期アクセスを提供し、たくさんの分析を行い、それを世界に公開して「これが彼らがやったことで、これが既知のリスクです」というようなことを人々に理解してもらえるようにしました。
また、AIの統治について多くのアイデアを発表しました。例えば、計算能力、実際の物理的なAIチップは便利なレバレッジポイントになります。物理的なものなので。そういったアイデアを多く発表し、内部でもたくさんの取り組みを行いました。
AGIレディネスに関心のある人にとって、OpenAIでAGIレディネスチームとその取り組みを主導するというのは、多くの人が夢見る仕事だと思います。なぜ辞めることにしたんですか？
マイルズ: はい、まずOpenAIで素晴らしい時間を過ごし、私のチームと多くのことを達成できたことは明確にしておきたいと思います。
辞めた理由は3つあります。1つ目は、取り組みたいことの全てに取り組めなかったことです。業界横断的な問題、つまりOpenAI内部で何をするかだけでなく、どんな規制があるべきかといったことです。外部にいた方がそういったことを考えやすく、日々の内部業務に気を取られることも少なくなります。
2つ目は、独立して偏見の少ない立場でいたいということです。私の見解が、正当であれ不当であれ、「ただの企業のPR担当者だ」と片付けられたくありませんでした。
3つ目は、内部での目標をかなり達成したと感じたことです。「これが傾向で、これが課題で、これがAGIへの準備に必要な異なる柱です」といったことを示してきました。一方で、OpenAIの外では多くの人々がそれについて考えてさえいない状況で、まだまだ言うべきこと、やるべきことがあると感じました。
過去1年間、OpenAIを去った人々には、安全性のミッションよりも商業的な重点が優先されることへの懸念があったと聞いています。それはあなたの決断の一部だったんですか？OpenAIが特に安全な方法で物事を進めていないと感じたんでしょうか？
マイルズ: OpenAI特有の問題というより…もちろん業界のギャップについての私の見方はOpenAIでの経験に基づいていますが…他のどのラボも完全に状況を把握しているとは思えません。彼らが言っていることを読めば分かりますが、把握できているとは言っていません。
非常に速い進歩と、最も知識のある人々が「私たちは準備ができていない」と言っているという、この狂った状況が私の焦点です。
AGIへの準備が整っているとはどういう意味で、その質問への答えはここ数年で変わりましたか？
マイルズ: 今後数年で、AGIと呼ぶかどうかは別として、基本的に人間ができることは何でもできるAIシステムが構築されると思います。リモートでコンピュータを操作し、マウスやキーボードを操作し、ビデオチャットで人間のように見えることもできるでしょう。
人々は、それが何を意味するのか考える必要があります。政府は、課税すべき分野や投資すべき教育について考える必要があります。教育の目的さえも、一部の仕事が残り、確かに新しい仕事も生まれるでしょうが、破壊的な変化が起きる世界では何なのか。
人々は、教育の目的は良い市民を育てることなのか、世界を理解することなのか、考える必要があります。仕事の準備をすることが非常に難しくなるパックがどこに向かうのか予測するのは。
基礎モデルを構築している大手ラボを見渡して、AIシステムを安全に構築する業界の現状をどう評価しますか？
マイルズ: 政策立案者が設定しているインセンティブから切り離して業界を評価するのは難しいと思います。多くの企業は、非常に熾烈な競争環境の中で、EUでは規制が迫っているものの詳細は未定という状況で、自主的な約束以外にほとんど指針がない中で、できる限りのことをしているのだと思います。
良い取り組みは行われていて、数年前に比べると「これらのテストを行い、これらのリスクを評価した」という透明性は高まっています。しかし、彼らが言っていることを読めば明らかですが、いくつかの分野では遅れをとっています。認識している問題の全てを解決できているわけではありません。これは、ある意味で制御不能な競争状況の表れだと思います。
例えば、どんな問題の解決に苦労しているんですか？
マイルズ: 一例を挙げると、「ハルシネーション」、つまりAIシステムが事実でないことを作り出すという問題があります。これはOpenAIに限らず、業界標準と言えるでしょう。システムが作り話をして、下部に小さな文字で「Claudeは間違えることがあります」とか「ChatGPTは間違えることがあります」と書かれている。これは明らかに、企業に安全に行動することを強制するものがほとんどないことを示しています。
また、この熾烈な競争は何をもたらしているのでしょうか？
マイルズ: 確かに複雑にしています。企業は複数の次元で競争しています。市場に最も早く出すことだけでなく、製品を出荷し市場に投入する会社で働きたいと人々は考えるので、人材の獲得競争もあります。
安全性も考慮していますが、必ずしも焦点ではありません。言い換えると、彼らは frontier（最先端）を押し進め続けています。私の見方では、froniterを安全に進める方法が正確には分かっていないので、そこにギャップがあると感じています。
そうですね。だからこそ私は状況を改善することに焦点を当てていきたいと思います。
強力なAIの開発を一時停止すべきだと考える人々の一人ですか？準備態勢の一部として、AIの進歩を遅らせる必要があると思いますか？私にとって準備とは、より多くの時間があれば重大なことへの準備がより容易になるということですが。
マイルズ: 私の立場としては、完全にブレーキをかけるのは時期尚早ですが、ブレーキは設置すべきです。今は全くブレーキがありません。
つまり、計算能力がどこにあるのか、最先端の能力がどういう状態なのかを把握し、さまざまな政策提案を検討する必要があります。例えば、私は「Computing Power and the Governance of AI（計算能力とAIのガバナンス）」という論文を発表し、連邦準備制度理事会のような計算能力準備制度を設けて、市場に投入する計算能力を増減して、スピードを加速したり減速したりするというアイデアについて議論しました。
これが正しいアイデアかどうかは分かりません。もしかしたら税金かもしれませんし、これらを実際には何もしないかもしれません。でも、物事が速すぎる場合に備えて、考えて準備しておく必要があります。ただ、今の議論は非常に単純で、一方は「もっと速く」、もう一方は「ブレーキをかけろ」という感じです。実際のところは、私たちには分からない部分があって、トレードオフがあり、何が起きているのか、より速くまたは遅く進むことの利点は何かを考える必要があります。
番組でAGIや強力なAIについて話すたびに感じることですが、これは全てSFだと考える人々が一定数いますよね。AIが人間レベルの知能に近づいているとは確信できず、ChatGPTなどのツールの有用性を実感できず、大手AIラボからのマーケティングハイプだと考える人々について、どう思われますか？理解の問題はどこにあるのでしょうか？あるいは、彼らには何が見えていないのでしょうか？
マイルズ: それを言うのは難しいですね。業界の人々と業界外の人々の考え方のギャップをもっと理解したいと思っています。もちろん例外はありますが、一般的にフロンティアラボにいる業界の人々は、物事が非常に速く進んでいると考えています。その中には非常に興奮している人もいれば、非常に懸念している人もいますが、AGIに向けて大きな進歩があり、今後1,2年でさらに大きな進歩があるだろうということに議論の余地はありません。
確かにある人々は自分の新しいスタートアップを誇大宣伝しようとしていますが、私のような元社員には誇大宣伝する動機がないということは注目に値すると確信しています。
マイルズ、あなたはキャリアとOpenAIでの時間の多くを、企業や政府などの機関がより強力なAIに備えるためにどうすべきかを考えることに費やしてきましたが、個人は何をすべきだと思いますか？先週、大学で学生たちと話をしましたが、彼らは皆「何を勉強すべきか」「どんなキャリアを追求すべきか」「AGI時代に価値を持つスキルを今からどう身につけるべきか」といった質問をしていました。個人はどのように備えるべきでしょうか？
マイルズ: 少なくとも3つのことを挙げたいと思います。
1つ目は、これらのシステムを試してみることです。最新版のGeminiやChatGPT、Claudeを使ったことがない人は時代遅れです。これは業界にいなくなった人間として、単なる誇大宣伝ではなく言っているんです。これは確実に世界を変えるので、何ができて何ができないのかを知る必要があります。
2つ目は、キャリアにとって何を意味するのかを考えることです。たとえば、OpenAIは「01」というシステムについてのブログ記事を公開しました。そういった例を見て、物事がどこに向かっているのかの傾向を見て、キャリアにとって何を意味するのかを考える。より将来性のある道を考えるべきなのか。
3つ目は、ディープフェイクなどから自分や大切な人を守ることです。ここでも、技術の最先端を知ることが重要です。祖母の声に聞こえる電話が実は祖母ではないというような詐欺に遭わないために。何が可能なのかを知ることが、騙されないために重要です。
人々は具体的な質問をしますよね。「数年後に全てのお金が無関係になるような強力なAIができるなら、退職金は貯め続けるべきか」「子供を大学に行かせる計画は立てるべきか」「議員にAIについて何か特定の行動を取るよう働きかけるべきか」など。業界の多くの人々と同様に、この技術が改善し続けると信じている人にとって、これは個人の選択や計画にどのような意味を持つのでしょうか？
マイルズ: 言うのは難しいですね。AIについて最も知識のある人々でさえ、どのくらい速く進むのかについては大きな不確実性があります。知識のある人々のほとんどは、かなり速く進むことには同意していますが、超超速く進むかどうかは判断が難しいです。
それが社会にとって何を意味するのかは、必ずしも予測できることではありません。それは部分的には政策と社会の問題です。特定の仕事を保護し、「これは人間だけができる」という規範を確立したいのか、それともAIが処方箋を書き、法的アドバイスを提供できるようにして、法律の学位は必要ないとすることで、AIからより大きな恩恵を得たいのか。
完全に予測することは基本的に不可能ですが、お金は貯めるべきだと思います。
個人的に退職のために貯金していますか？
マイルズ: はい、ほとんどの人にとって、退職は思っているより早く来ると思います。AGIが来たときに私たちがまだここで退職について話せるという前提ですが、技術的に可能で、政策立案者が仕事をきちんとすれば政治的にも可能になると思います。この巨大な経済的恩恵があり、人々は基本的に早期退職して高い生活水準を維持できるでしょう。
とはいえ、以前から貯金があれば、ないよりもロボット執事をより多く持てるかもしれません。人々は常に何か買いたいものがあるでしょう。例えば、ロボットではなく人間に食事を提供してもらいたいといった需要は常にあると思います。
ケビン: そうですね。
マイルズ: なので、お金はまだ存在すると思います。
AIが経済的価値のある全てのことができる世界で、社会はどのように機能すると思いますか？人々のニーズは政府が提供するのか、ロボットが全てをするのか、そのお考えを共有していただけますか？
マイルズ: 私たち全員が健康で安全にここにいるという前提で、おそらく起こることは、AIによってはるかに大きな経済になることです。今後数年間、毎年GDPの成長率は大幅に上昇するでしょう。
そして、課税などを適切に行い、ベーシックインカムなどの形で堅固な安全網を持てば、人々はその恩恵を共有できます。人々は単にそのベーシックインカムを受け取って、今日多くの人々が長時間働いて実現しているような、かなり快適な生活を送ることを選択できるでしょう。
どのように展開されるかは分かりませんが、技術的には可能になると思います。
AI進歩についてのあなたの信念を内面化した結果、個人的な生活で他に何か変えましたか？AI進歩にあなたのように精通していない人とは、日々の生活でどのように異なる選択をしていますか？
マイルズ: そうですね…AI進歩について一日中考えること以外は、あまりないかもしれません。普通の生活を送っていて、猫を飼い、テレビを見たりしています。でも仕事時間に関しては、それが主な違いですね。
とても興味深いですね。これは私がAIラボから常に探している合図なんです。AIについての信念に基づいて、ラボの人々が実際に異なる行動を取り始めるとき。例えば、OpenAIが401Kマッチングを廃止するとか。人々がこれが差し迫っていると言うだけでなく、差し迫っているかのように行動し始めるときです。それがどのような形になるのかは分かりませんが、この技術が何をできるのかを最もよく理解している人々でさえ、自分の生活を再編成することについては認知的不協和があるように思えます。
まあ、サム・アルトマンが終末シェルターを建設したことは分かっていますけどね。それが一つの合図ですね。
終末シェルターに行ったことはありますか？
マイルズ: いいえ、終末シェルターには行ったことがありません。
残念ですね。
ケビン: 私も行ったことないです。行ってみたいですね。
終末シェルターからポッドキャストをやるべきですよね。想像できます？音響は素晴らしいでしょうね。象徴的になりそうです。
そのことについて考えを述べていただけますか？なぜ、この技術がすぐにもっと良くなると理解し、賭けているこれらのラボの人々が、私たち他の人々と同じように毎日起きて仕事に行き、それらの変化を予期した抜本的な選択をしているように見えないのでしょうか？
マイルズ: それはAIが非常に汎用的な技術で、全てに浸透していくからだと思います。通りを行進してくる私たちを殺すロボットのように、ドアの前に土嚢を積んで身を守る必要があるようなものではありません。インターネット上に展開され、至る所にあるものです。
それを理解し、それについて話し、政策立案者に良い防護柵を設定するよう働きかける以外に、準備のためにできることはあまりありません。
最後の質問をさせてください。指を鳴らして2つのことができるとしたら。1つ目は、法律を通過させる、新しい統治機関を設立する、AIラボを閉鎖するなど、社会のAI準備態勢を高めるために1つのことができるとしたら、それは何でしょうか？
2つ目は、AIについての1つのアイデアを世界中の人々に納得させて、来たるべきものにより良く対処できるようにできるとしたら、それは何でしょうか？やりたいことと、人々の頭に植え付けたいアイデアを教えてください。
マイルズ: 1つ目への回答は本当に難しいです。多くのことが起こる必要があるので、かなり広範な傘となるものを選びたいと思います。
バイデン政権下で、大規模データセンターはどこにあるのか、大規模モデルはどこにあるのか、安全性について良い仕事をしているのかなどの情報を収集し始める大統領令が出されました。しかし、現在それは脆弱で、例えばトランプ政権で撤回される可能性があります。
それがなくても、国防生産法という法律を援用していることから、法的な異議申し立てがある可能性が高いです。もし魔法の杖があれば、議会にその法律のバージョンを可決させ、政府がこれらのことを把握できる本当に堅固な法的基盤を作るだけでなく、AI安全研究所への長期的な確実な資金提供など、追加の要素も盛り込みたいと思います。
これは米国政府のAI頭脳とも言える部分で、技術専門家の重要な集団が何が起きているのかを知り、これらのシステムをテストしています。次の選挙の気まぐれではなく、それを堅固な基盤の上に置くことで、私はとても嬉しく思うでしょう。その後にもやるべきことはたくさんありますが、それは良いスタートになるでしょう。
そして、魔法の杖で世界中の人々に納得させたい1つのキャッチフレーズは？
マイルズ: そうでした、その部分を忘れていました。主なポイントは、AIは実在するものでSFではないということです。今日、無料で使える興味深い推論パズルを解いたり、論文にフィードバックを与えたり、メールの草案を作成したり、多くの法学生と同じくらい上手くLSAT（米国のロースクール入学適性試験）の問題を解いたりできるシステムが実際にあります。
それは狂っていて、5年前には真実ではありませんでした。この状況の奇妙さと、知識のある人なら誰もがこの進歩は止まっていないと同意していることを理解し、それについて考えるべきだと思います。
私のAI準備態勢を改善するために何をしているか言いましょうか。私は武道を学んでいます。この世界では、どんなラプトップとも素手の戦いで勝てる必要があると思っています。私は自分のチャンスに期待を寄せています。進捗をお知らせしますね。
ボストン・ダイナミクスのロボットを見たことがありますか？あなたはうまく戦えないと思いますよ。
いや、実際に見ましたよ。彼らを蹴って倒すポイントを研究してきました。安全でない通信手段ではこれ以上言えませんが、いくつかのことは知っているということだけ言っておきましょう。
さて、マイルズ、番組に来ていただき、ありがとうございます。この会話の結果、必ずしもAGIへの準備が整ったとは感じませんが、少なくとも私の準備態勢にどんなギャップがあるのかは分かりました。
私はAGIのために生まれてきたんです。ずっと働き続けたいとは思っていませんからね。
早期退職については、約10年前からずっと準備ができていたと思いますよ。小さな男の子の頃から、早く退職したいと分かっていました。
はい、お招きいただき、ありがとうございました。
はい、ご視聴ありがとうございました。このクリップが気に入っていただけたなら、私たちのページに行ってご登録ください。毎週のようにテクノロジーと未来についてこのようなショーを制作しています。今すぐ登録してください。
コメント