10,776 文字
ケーシー、今日は予測について話そう。フォークキャストとは別のものだよ。
そうですね、年末の予測回のことですよね。
そうだと思うけど、今日は違うものについて話すよ。新しいレポート「AI 2027」についてだ。先週私が記事を書いたもので、AI業界や政策サークルで今週多くの注目を集めている。これはAI Futures Projectという、ダニエル・コカテロが率いるバークレーを拠点とする非営利団体によって作成された。彼はこの番組のリスナーも覚えているかもしれないが、昨年OpenAIを退社した元従業員で、彼が言うところの「無謀な企業文化」について警告を発するある種の内部告発者となり、現在はAIの未来を予測することに時間を費やしている。
もちろん、多くの人々がAIの未来を予測しようとしていますが、ダニエルに多くの信頼性を与えているのは、2021年に彼が現在のAIの姿を予測しようとして、多くのことを正確に言い当てたことです。だからダニエルが「2027年のAIがどうなるかについての新しいレポートをまとめています」と言ったとき、多くのAI観察者たちは「これは本当に読むべきものだ」と言ったんです。
ダニエルはこれを一人でやったわけではなく、イーライ・ライフランドという人物と提携しました。彼はAI研究者であり、非常に優れた予測者で、過去にいくつかの予測コンテストで優勝しています。二人は彼らのグループの残りのメンバーと、非常に人気のあるAstrocodex 10ブログを書いているスコット・アレクサンダーと一緒に、彼らがシナリオ予測と呼ぶ非常に詳細なものをまとめました。基本的には大きなレポート、ウェブサイトで、いくつかの研究に裏付けられており、今後数年間でAIに起こりそうなことを彼らが考えるすべてを読みやすい物語に統合した最善の試みを表しています。
それが退屈に聞こえるなら、ai2027.comをチェックしてみてください。非常に読みやすく、現在の私たちにとって非常に馴染み深いことをさらっと通り過ぎて、6ヶ月後、1年後の世界は非常に異なって見え始めます。そして彼らがなぜそれが妥当だと考えるのかを裏付ける多くの研究があります。
このレポートを読んだり、私たちがそれについて話すのを聞いたりする人々が「それはSFのように聞こえる」と言うのを想像できますが、明確にしておくと、これはSFです。これは彼らが作り上げたフィクション化された物語ですが、私はそれも多くの経験的な予測に基づいており、テストされ、確認または検証されうると思います。また、一部のSFが現実になることもあります。過去の数十年のAIに関する映画を見ると、それらの映画の多くのことが実際に実現されました。だから私はこのレポートが100％正確ではないかもしれませんが、少なくともAIの未来がどのようなものかを描くための非常に厳格で方法論的な試みを表していると思います。
そして私の賭けですが、もしこの会話をタイムカプセルに入れて2年後の2027年に再訪したら、そのシナリオの多くのことが実際に実現していることがわかるでしょう。
2年後もまだポッドキャストをやっていることを願っています。
それはいいですね。私の予測ではこれは良い会話になるでしょう。ダニエル・コカテロを迎えましょう。
ダニエル・コカテロ、Hardforkへようこそ。
ありがとう、お招きいただき嬉しいです。
あなたはこのグループを率いて、この巨大なシナリオ予測「AI 2027」をまとめましたね。あなたの目標は何だったのですか？
私たちの目標は、具体的なシナリオという媒体を使って未来を予測することでした。AIの未来を予測しようとする他の方法を使った、小さいながらも刺激的な文献があります。それも非常に重要です。例えば、AGIという能力のマイルストーンを定義して、これが私のAGIの定義で、これらの理由に基づいてAGIが実現するまでの予測をするというようなものです。それは素晴らしいことで、以前にもそういったことをやってきました。このシナリオの前段階でもかなりそういったことをやりました。しかし、実際に読める具体的なストーリーを持つことが役立つと考えました。これが重要だと考える理由の一部は、それがあなたにすべてについて考え、すべてを一貫した絵に統合することを強いるからです。
そのことについてもう少し聞かせてください。まず最初に言いたいのは、「AI 2027」は非常に面白い読み物だということです。私が読んだほとんどのSF作品と同じくらい面白いです。最後には人類の生存が脅かされるシナリオに入っていきます。だから、それが真実かどうかにかかわらず、読み進めるのは本当に魅力的です。ただ、私の理解では、あなたの目的にはこの演習を通じて何か実践的なことがあったのですよね？実践的なアイデアについて教えてください。
重要な背景として、OpenAI、Anthropic、Google Demainの各CEOは全て公に、彼らがAGIを構築していること、さらには超知能を構築していること、そして今後10年以内に成功できると考えていることを発表しています。これは本当に大きな問題で、誰もがそれに注目する必要があります。多くの人々がこれを誇大宣伝として却下するのは、「ああ、彼らは単に自分たちの製品を誇張しているだけだ」と言うのは合理的な反応ですが、それはCEOだけが言っているのではありません。それは企業の実際の研究者たちも言っていることであり、企業の人々だけでなく、学界やその他の場所のさまざまな独立した人々も言っています。そして、ただ人々の言葉を信じなくても、実際に証拠を見れば、これが今後10年以内に起こる可能性が驚くほど妥当であるように見えます。そしてそれが起これば、何らかの方法で物事はクレイジーになるでしょう。正確にどうなるかを予測するのは難しいですが、もし本当に超知能AGIを手に入れたら、次に何が起こるかはSFのようになることは明らかです。それはSF本から直接出てきたかのようになるでしょう。ただし、それは実際に起こっているのです。
テクノロジー企業のCEOたちが言うことが本当になれば、私たちはSFの世界に住むことになるでしょうと言いましたね。多くの人々にとって、そこで考えるのをやめるのが良いと思います。彼らは「はい、超知能を発明すれば物事はおそらく狂うでしょう。でも、その橋に着いたら考えます」と認めるかもしれません。あなたは違うアプローチを取って、「いや、今すぐにこれらの主張が真実になり始めたらどうなるかを考え始めるべきだ」と言っています。そのような主張のいくつかを教えてもらえますか？今後2、3年の間に非常に起こりそうなことを教えてください。
非常に可能性が高いとは言いません。私の不確実性を表現すべきですね。過去の議論では、人工知能全般や超知能などの単一のマイルストーンに焦点が当てられることが多かったのですが、私たちはそれをいくつかの異なるマイルストーンに分けました。これらは「超人的コーダー」「超人的AIリサーチャー」「超知能的AIリサーチャー」、そして「広範な超知能」と呼んでいます。そして、これらの各段階についての予測を行っています。最初のものについても、2027年末までに起こる可能性は50％程度だと考えています。つまり、2027年が終わっても、まだ自律的な超人的コーディングエージェントが存在しない可能性が50％あるということです。ですから、私は不確かですが、コイン投げのようなものです。
つまり、2027年までに優秀なエンジニアの仕事を基本的にこなせる完全に自律的な人工知能を持つ可能性が50％あるということですね。それから次のマイルストーンは何ですか？
その後は、コーディングだけでなく、AI研究プロセス全体の自動化が来ます。AI研究はコーディング以上のものだからです。それを実現するにはどれくらい時間がかかるでしょうか？私たちには推測がありますが、シナリオでは6ヶ月後に起こると言っています。
つまり、私たちのストーリーでは、超人的コーダーを使ってさらに速く進み、研究全体のループを行うことができる超人的AIリサーチャーを得ます。これが本当に物事を加速させます。どれくらい速くなるかというと、アルゴリズムの進歩は少なくとも25倍速くなると言っています。もちろん、コンピュート能力の拡大はまったく速くならないでしょう。同じ量のコンピュートしかないからです。しかし、アルゴリズムの進歩は20倍、25倍速くできます。その後、超人的レジームに入り始めます。最高の人間よりも質的に優れたシステムを手に入れ始め、おそらく新しいパラダイムを発見し始めます。私たちは2027年の後半にわたって複数のパラダイムシフトを経て、最終的にはあらゆる面で人間よりも圧倒的に優れたものになると描いています。
ちょっと立ち止まって、いくつかの点を強調させてください。ほとんどの人は大きなAI研究所がコーディングの自動化に取り憑かれている理由を理解していないかもしれません。ほとんどの人はソフトウェアエンジニアではないので、どれだけが自動化されるかについてあまり気にしていません。しかし、ソフトウェアが主に自分自身を書く段階に来ると、他の可能性の世界が解放されます。あなたがスケッチした視点では、AIコーディングシステムがほぼすべての人間のエンジニア、あるいはおそらくすべての人間のエンジニアよりも優れている段階に達すると、他のことが可能になります。つまり、AIそのものの構築方法を理解しようとするために、このシステムを設定できるということです。それが私が聞いていることですか？
基本的に2つの段階に分けます。コーディングは完全な自動化とは別だと思います。以前言ったように、コーディングを非常にうまくこなせるシステムが登場すると予想していますが、例えば研究のセンスが欠けているかもしれません。どのような実験を実行するかについての良い判断力が欠けているかもしれず、それが研究プロセスを完全に自動化できない理由です。そして、新しいシステムを作るか、古いシステムを継続的にトレーニングして、そのセンスやその判断力を獲得させる必要があります。同様に、彼らは調整能力が欠けているかもしれません。少なくとも最初は、数千のコピーからなる大きな組織で一緒に働くのがあまり得意ではないかもしれません。しかし、それを修正し、新しい方法を考え出し、追加のトレーニング環境を行って、そのようなことが得意になるようにします。それが2027年の前半に起こると描いています。そして、それが半年だけで起こると描いているのは、コーディングがすべて完璧になっているため、より速く進むからです。人間がまだプロセス全体を指示していても、彼らはコーディングエージェントに命令を与え、彼らはすぐにすべてを実際に機能させます。
そして、年の半ばまでに、AIが欠けていたスキルをトレーニングする新しいトレーニング実行を作ることに成功します。そうすれば、彼らはもはや単なるコーディングエージェントではなく、研究センスも持つことができます。新しいアイデアを思いつき、仮説を立てて検証することができ、数千、数千の大きな集合体として一緒に働くことができます。それが本当に物事が動き出すときです。
あなたのシナリオでは、この「インテリジェンス爆発」と呼ぶものの後に、超人的AIコーダーがAI R&Dに入り、より優れたAIを構築するプロセスを自動化し始めると、あなたは「自分で冒険を選べる」エンディングのようなものを用意しています。一つのボタンをクリックすると、「善い場所」エンディングが展開し、私たちはAI開発を減速させ、これらのものを制御下に置き、アライメントの問題を解決します。そして赤いボタンを押すと、非常に暗い反ユートピア的なシナリオに入り、AIを制御できなくなり、彼らは私たちを欺いて謀略を企て、最終的には私たちは全員死ぬかもしれません。なぜ人々に最も起こりそうな結果をただスケッチするのではなく、これら二つのエンディングから選択できるようにしたのですか？
私たちは最も起こりそうな結果をスケッチすることから始めました。それは「レース」エンディングで、misand（ミサンド）で終わるものです。それから「これはちょっと落ち込むな、悲しいな、そしてそのせいで話せなかったことがたくさんあるな」と思いました。だから、違う終わり方をする別のエンディングを持ちたいと思いました。実際は、さまざまな可能性のある結果の全体的な広がりを持ちたかったのですが、時間と労力の制限があり、「スローダウン」エンディングとして描いた別の結果を一つだけまとめることができました。
スローダウンエンディングでは、彼らはアライメントの問題を解決し、実際に言葉通りのAIを手に入れます。彼らは偽装しておらず、彼らにプログラムされた目標と価値観を実際に持っているか、あるいは会社がトレーニングしようとしていた目標と価値観を持っています。それを整理するのに数ヶ月かかります。だからそれがスローダウンなのです。彼らはそれらのことを解決するために、彼らのコンピュートとエネルギーの多くを転換しなければなりませんでした。しかし彼らは成功します。そして、そのエンディングでも、中国との狂気の軍拡競争があり、この狂気の地政学的危機があります。実際、それはまだ両側での大規模な軍備強化、経済への大規模な統合、そして最終的には平和条約という似たような方法で終わります。
ダニエル、先週のワシントンでの出来事、関税、中国との間で迫り来る貿易戦争が、あなたの予測に影響を与えたかどうか興味があります。
私たちは予測を反復的に改善してきましたが、その核となる構造は基本的に数ヶ月前に完成していました。これはすべて私たちにとって新しいものであり、予測の一部ではありませんでした。それによって何が変わるでしょうか？貿易戦争が続き、不況などを引き起こす場合、AIの進歩の全体的なペースを遅らせるかもしれませんが、それほど多くはないでしょう。例えば、コンピュートが30％高価になり、企業が30％少ないコンピュートしか購入できなくなるとします。それは今後数年間の研究速度が全体的に15％減少することになるかもしれず、私たちが話すマイルストーンが予定より数ヶ月後に起こることを意味するかもしれません。しかし、物語は基本的に同じでしょう。
あなたのプロジェクトで最も興味深いと思うことの一つは、「賭けと懸賞」セクションです。あなたは自分の作業のエラーを見つけた人、あなたに重要な点で心変わりさせた人、あるいは代替シナリオを起草した人に報酬を支払うことになっています。このプロジェクトの一部になった経緯について少し話してください。
私は合理主義コミュニティのバックグラウンドから来ています。これは予測を行い、賭けをし、自分の言葉に責任を持つことを重視しています。だから、そのようなことをする美学的な関心を持っています。また、このプロジェクトの目標の一つは、人々にこのことについてもっと考えてもらい、私たちがやったような線に沿ったシナリオ予測をもっと行ってもらうことです。私たちは本当に人々が、彼らが来ると考えるものの彼らのビジョンを表す合理的に詳細な代替経路で、これに対抗することを望んでいます。そのため、それを少し奨励するために数千ドルの賞金を出す予定です。
賞金の件については、すでに数十人の人々から「あなたはこう言っているけど、これはタイプミスじゃないか」とか「これは間違っているように感じる」といった反応をもらっています。処理すべきことのバックログがありますが、それを処理するつもりです。小さな支払いを行って、小さなバグやそのようなものをすべて修正する予定です。そのレベルの関与を見るのはとても心温まるものです。
これまでに異なるシナリオについて賭けを行いましたか？
これまでに1つか2つやってきましたが、主にバックログがあり、それを処理する必要があります。
ダニエル、このシナリオ予測についてAI企業の人々から良い反応を得ていると言いましたね。私がこれについて記事を書いた後、AIリサーチコミュニティの内外の多くの人々と話をしました。そして、私が得た最も頻繁な反応は、単なる不信感でした。話をした一人の著名なAI研究者は、私が初めてこのシナリオを見せたとき、それはエイプリルフールのジョークだと思ったと言いました。なぜなら、それはとても突飛に聞こえたからです。中国のスパイ行為やモデルが暴走することや超人的コーダーなど、すべてが空想的に見え、それはあまりにも遠い将来のことだと思われ、関わる価値すらないと考えられていました。そのような反応をたくさん受けたことがありますか？それに対するあなたの反応は？
うーん、「自分でシナリオを書けよ」と言いたいです。あなたは奇抜に見えないシナリオを書くか、そうすれば私はそれを完全に批判し、基本的にAIの進歩が壁にぶつかると仮定している非現実的なものだと言うでしょう。あるいは、私たちのものとは異なる方法で非常に奇抜に感じるシナリオを書くでしょう。彼らは実際に今後10年でAGIと超知能に到達するのでしょうか？もしそうなら、あなたはそれを奇抜でない方法で書くことはできません。どの奇抜なものを書くかという問題だけです。もしあなたがこれは起こらず、壁にぶつかると考えるなら、それも可能です。それは合理的だと思います。それが最も可能性の高い結果だとは思いませんが、私は実際に今後10年で超知能を持つことになるだろうと思います。
その点についてもう少し詳しく教えてください。私は多くのリスナーが本当に壁にぶつかると思うか、あるいはあなたが描くシナリオのいずれかと向き合わなくて済むように壁にぶつかることを期待しているだけだと思います。「おそらく壁にぶつかるだろう」と言う人へのメッセージは何ですか？
文献を読んでください。
彼らは文献を読みません。彼らは文献を読まなくて済むようにポッドキャストを聴いているのです。
そうですね。文献の特定の部分を指摘できます。例えばベンチマークとそれらの傾向などです。ベンチマークは以前はひどかったですが、実際にはずっと良くなっています。特にmeterはエージェントによるコーディングベンチマークを持っており、実際にAIシステムにGPUへのアクセスを与えて「楽しんでください。この研究問題について8時間進捗を出してください。頑張ってください」と言い、同じセットアップを与えられた人間の研究者と比較してどれだけ優れているかを測定します。グラフ上の線は上昇しており、1年か2年で、AIが自律的に8時間のML研究タスクを様々な種類で実行できるようになるように見えます。それはAGIではなく、超知能でもありませんが、それは私が話していた最初のマイルストーン、超人的コーダーかもしれません。そのような傾向を指摘します。
そして別に、権威への訴えもします。もしあなたが文献を読まなかったり、グラフを見なかったり、自分の意見を形成しなかったりして、まだただ他の人が考えることに頼っているなら、ええ、これは全て起こることはないと言う一連の否定派がいますが、また、これを非常に真剣に受け止めている、非常に信頼できる人々がいます。彼らは会社の内外で素晴らしい実績を持っています。
この予測に対する批判のもう一つのジャンルは、コーディングにおいて超人的なAIを手に入れれば、彼らは一般的な知能への道筋を自力で見つけることができるという考えに疑問を呈する人々からのものです。ダビデ・オーとのメールから引用したいと思います。彼はMITの非常に有名な経済学者です。彼にシナリオを見てもらい、特に超人的コーディングから何かAGIのようなものへの容易で速い飛躍をどのように想定しているのか、何が欠けているかについて反応してもらいました。彼が言ったことを読みます。
「LMとその類は、私たちの認知の一つの信じられないほど重要で強力な部分の超強力な化身です。私がAGIへの滑走路にいないと言う理由は、単にこの能力を最大化しても、まだ欠けている部分の代わりにはならないということです。人類は最終的にAGIに到達すると思います。私は二元論者ではありませんが、より速く泳ぐことで飛べるようになるとは信じていません。」
あなたの反応はどうですか？
同意します。私たちはストーリーの中でこれを描いています。AI 2027を読むと、LLMのようなものがありますが、長期的なタスクを行うための強化学習がずっと多く、それが最初の超人的コーダーとして数えられます。それは今日のシステムとはすでにいくらか異なりますが、まだ広く類似しています。依然として基本的に同じ基本的なアーキテクチャかもしれませんが、ずっと多くのトレーニング、ずっと多くのスケールアップ、特に長期的なエージェントコーディングタスクに特化したずっと多くのトレーニングがあります。しかし、それ自体はAGIではありません。早期に得られる超人的コーダーに過ぎないという点に同意します。その後、実際の超知能に到達するためにいくつかのパラダイムシフトを経る必要があり、私たちは2027年の過程でそれが起こると描いています。
私が誰もが考える必要があると思う重要なことは、この「テイクオフスピード」変数です。最初のマイルストーンに達したとき、そして2つ目のマイルストーンに達したときなど、研究がどれだけ速くなるのかということです。もちろん、多くのことと同様に、私たちはこれについても不確かです。シナリオでは、私たちが描くよりも5倍遅く、1年ではなく5年かかる可能性もあると言っています。ただし、私たちが描くよりも5倍速く、2ヶ月で済む可能性もあると想像できます。
そこでもっと多くの研究をしたいと思っていますが、もし私たちの数字がどこから来ているのか知りたいなら、ウェブサイトのタブをクリックすると、私たちがストーリーの骨組みとなる定量的な推定値を生成した一連のサイズ計算やミニエッセイが記載されています。
このプロジェクトについて私が見たもう一つの批判について質問したいのですが、それはAnthropicの研究者であるサフロン・ハングからのものでした。彼女はX上で、AI 2027におけるあなたのアプローチが非常に非生産的だと主張しました。基本的に、あなたはこれらの怖い結果を非常に明確にすることで、一部の仮定を埋め込むことで、あなたが心配している悪いシナリオが実際に起こる可能性を高めているというものでした。あなたはこれについてどう思いますか？
私もそれについて非常に心配しています。これはプロジェクトの初日から私たちが悩んできたことです。まず、人工知能全般の研究分野ではこのようなことが起こるように見える長い歴史があります。最も顕著な例はエリ・ヤゾフスキーで、彼は少なくともこの世代ではAGIについて心配する「父」のような存在です。アラン・チューリングも心配していましたが、とにかく…サム・アルトマンは特に、あのツイートを覚えていますか？サムは特に「ヤゾフスキーのAGIについての意識を高めたことに敬意を表する」とツイートしました。彼の警告のおかげで、より多くの人々がその可能性に注意を払い、これらの企業に投資し始めたため、それはずっと速く起こっています。
これは彼に対する一種の「ナイフをひねる」ようなものでした。なぜなら、彼はこれがより速く起こることを明らかに望んでおらず、より準備し、安全にするためにより多くの時間が必要だと考えているからです。しかし、人々がAGIがどれほど強力で恐ろしいものになり得るかについて話すことで、それがもう少し早く来るようになり、人々が目を覚まし、それに向かってより一生懸命競争するようになったという効果があったように見えます。
同様に、AI 2027で同じようなことを引き起こすことを心配しています。AI 2027におけるサブプロットの一つは、「超知能の軍隊を誰が制御するのか」という権力の集中の問題です。「レース」エンディングでは、超知能の軍隊が単に制御されているふりをしているため、重要な時には実際には誰の言うことも聞いていないという意味で、それはほとんど無意味な問題です。しかし、「スローダウン」エンディングでは、彼らは実際にAIを調整し、彼らは実際に言われたことをするつもりなので、誰がそれを言うかが問題になります。
私たちのスローダウンエンディングでの答えは、監督委員会というこのアドホックなグループで、それはいくつかのCEOと大統領が集まって超知能の軍隊の権力を共有するというものです。しかし、私が見たいのはそれよりもっと民主的なもの、権力がもっと分散しているものです。また、それがそれよりも民主的でなくなることも恐れています。少なくともこの委員会とはオリガルキー（寡頭政治）を得ますが、非常に簡単に一人の人が超知能の軍隊に対して絶対的な制御権を持つ独裁制に終わる可能性があります。
これは、自己成就的な予言を起こしたくないようにしている別の例です。CEOとして「超知能の軍隊を構築することで多くのお金を稼ぐことができる」と読んで欲しくないのです。しかし、そのすべてを言った上で、私たちは「光は最良の消毒剤である」というギャンブルをしています。前進する最良の方法は、単に私たちが来ると思うことについて世界に伝え、多くの人々がそれに対して完全に間違った方法で反応するだろうと知っていても、十分な人々が正しい方法で反応することを望むことであり、全体的にそれが良いことになることを望んでいます。
なぜなら、私は「静かに、すべてを秘密にし、バックルーム交渉を行い、正しい時に正しい部屋に正しい人々を集めて、彼らが正しい決断を下すことを望む」という代替案に疲れているからです。それは運命づけられているような気がします。だから私は人類への信頼を置き、私が見ているように伝え、私が正しい限りにおいて、人々が時間内に目覚め、全体的に結果が良くなることを望んでいます。
ありがとう、ダニエル。
ありがとう、ダニエル。
ありがとう、みなさん。
コメント