5,545 文字
数日前、Google DeepMindがAlpha Evolveを発表しました。これはGeminiを搭載したアルゴリズム発見のためのコーディングエージェントです。これは人々が本当に意味を理解していないものだと思います。なぜなら、これは実際のユースケースでAIが使用され、AI開発のフィードバックサイクルを加速するために活用されている最初の例の一つだからです。
これは世界を席巻しており、このビデオでは、なぜこれがそんなに驚くべきブレークスルーなのか、知っておくべきことすべてを説明します。要するに、これはマトリックス乗算アルゴリズムを高速化し、未解決の数学問題に新しい解決策を見つけ、Googleのデータセンター、チップ設計、AIトレーニングをより効率的にすることができたエージェントシステムです。
どのように機能するのか見てみましょう。何をするかを知ることは良いですが、どのようにそれを行うのでしょうか？まず、Alpha Evolveの概要を見てみましょう。ここには人間がいて、人間が何を測定するのか、目標は何かを定義します。本質的には、何かが良いかどうかを測定しようとします。
基本的に、いくつかの初期コードまたは背景情報を提供し、ロボットの仕事はこのコードをどう改善するかを見つけることです。システムの仕組みはこうです。まず、プログラムデータベースがあり、試したすべてのコードバージョンとそれぞれの性能を保存します。基本的に大きなコードメモリバンクのようなものです。
次にプロンプトサンプラーがあり、データベースから古いコードとアイデアを取得し、AIに送信するメッセージに変換します。次にLMとサンプルがあり、基本的にプロンプトを読み取り、改良されたコードの新しいバージョンを書きます。そして評価プールがあり、新しいコードを実行し、スコアを付け、これが前より良いか、速いか、安いかを判断します。これが完全なループです。
より良いものであれば、新しいバージョンがデータベースに戻り、サイクルが続きます。全体として、最終的にAlpha Evolveは何度も試行、テスト、改善を繰り返して見つけ出した、より良いバージョンのコードを返します。これは文字通り、時間とともにコードを一貫して改善し続けるループです。
これに関する最も驚くべきことは、これが単なる派手なデモやGoogleがAI界でのランキングを上げるためにやりたかったことではないということです。彼らは実際にこれをコアシステムに実装し、現在Alpha Evolveを使用してGoogle全体を改善しています。彼らはBorgスケジューリング問題によるデータセンターの最適化を改善しています。これはGoogleが巨大なサーバーファーム全体でジョブをスケジュールし、メモリやCPUなどのリソースが無駄になることがある場所です。
そしてAlpha Evolveは実際に解決策を見つけました。ジョブスケジューリングのための新しいシンプルなヒューリスティックを発見し、結果としてGoogle全体のフリート全体の計算リソースの0.7%が回収されました。論文では、導入後の測定により、このヒューリスティック関数がGoogleのフリート全体の計算リソースの平均0.7%を継続的に回収することが確認されたと述べています。
また、ハードウェア最適化TPU回路設計問題もありました。AIトレーニングに使用されるTPUハードウェアの設計には、パフォーマンスとエネルギーのための回路の最適化が含まれ、Alpha Evolveは解決策を見つけました。不必要なビットを削除するためにハードウェア設計言語であるVerilogを修正し、結果として重要なTPU算術ユニットの電力とエラー使用量が削減されました。
論文では、Alpha Evolveがエンジニアによって検証されたシンプルな書き換えを見つけ、この変更が将来のTPUに統合されたと述べています。また、ソフトウェアも最適化しました。Geminiのトレーニング問題がありました。Google Geminiの基盤モデルのトレーニングには大量の計算が必要で、Alpha Evolveはこれを解決しました。
行列乗算の分割方法に影響するカーネルレベルを最適化しました。結果として重要なカーネルで23%の高速化と、Geminiの総トレーニング時間の1%削減が実現しました。論文では、Alpha Evolveによって発見されたタイリングヒューリスティックが本番環境に導入され、Geminiのトレーニング効率が向上したと述べています。
全体として、Alpha EvolveがGoogleの全体的な効率を向上させた3つの主要な分野があることがわかります。そして、効率的なAIが改善され、さらに効率的なAIを生成し始めるとどうなるか考えてみてください。将来、物事がさらに加速し始める可能性があることがわかります。
最も驚くべきことの一つは、行列乗算において大きなブレークスルーを達成/解決したことです。行列乗算はコンピュータサイエンスとAIにおける基本的な操作であり、ニューラルネットワークのトレーニング、グラフィックスのレンダリング、物理シミュレーション、検索アルゴリズムなどで使用されます。
目標は、2つの行列をできるだけ効率的に乗算することです。ここでの大きな話題は、1969年にヴォルカン・シュトラッセンという人が、通常の8回の乗算ではなく7回の乗算で2×2行列を乗算する方法を見つけたことです。これは小さな乗算がより高速な計算を意味するため、大きな発見でした。シュトラッセンの方法を積み重ねることで、4×4行列を49回の乗算で乗算できました。
そして56年間、誰もその数字を上回る方法を見つけられませんでした。しかしAlpha Evolveは4×4行列を48回の乗算だけで乗算する新しい方法を見つけ、1969年の記録を初めて破りました。これはコードを進化させ、結果をテストし、人間の数学的証明を前提とせずに改善だけを保持することで達成しました。アルゴリズムを発見する検索アルゴリズムを設計し、AIが駆動するメタイノベーションの一種を実現しました。
これは単なる数学的な見せ場ではありません。GeminiやGPT、Claudeのようなモデルはトレーニング中に数十億の行列乗算を行います。そして操作ごとに1つのフル行列乗算でも、大規模では大きな計算節約を意味します。この発見は、GoogleのAIインフラストラクチャで使用される行列乗算カーネルを直接高速化し、全体としてGeminiのトレーニング時間の1%の高速化をもたらしました。
この論文の著者たちが何を言っているのか聞いてみましょう。関連する点として、Alpha Evolveはまだ私たちが活用していない機会も提供しています。将来を見据えると、ベースモデルの能力を強化できるシステムです。ベースモデルの能力はどこかにありますが、このシステムはテスト時の計算パイプラインを編成することで、さらに向上させます。実際、新しい科学的発見ができるほど良くなります。そこで自然な疑問が生じます。この向上した能力をベースモデルに戻して蒸留することはできないでしょうか？これは強化学習ループを閉じた場合に得られるものです。Alpha Evolveではまだ行っていませんが、その可能性は明らかにあります。
また、Machine Learning Street Talkの別の部分では、これが前述したようにGeminiのベースモデルを強化し、潜在的に自己改善ループを開始する可能性があると話しています。もちろん、工場のどこかで一つのAIが自己改善して超知能になるというわけではなく、そのプロセスのあらゆる部分を改善するということです。
最終的にはプロセス全体が高速化され、全体的にスマートなAIシステムをより迅速に導入できるようになります。Alpha Evolveとベースモデル自体の両方です。ついに再帰的自己改善のループを閉じることができました。うーん、それは一部の人々を刺激するかもしれません。シュミット・フーバーは何と言うでしょうか？
この時点で私たちは自分たちが行ったことについて非常に具体的にしたいのです。次のバージョンのGeminiのトレーニングを1%高速化する方法を見つけ、Bデータセンターでリソースを解放することができました。現在、フィードバックループについて考えると、おそらく数ヶ月の単位です。次のバージョンのGeminiのトレーニングを高速化すると、それが実際に到着するまでには時間がかかりますが、確かにアレックスが説明した方向への段階を見ています。Alpha Evolveの再帰的自己改善についての考えは？
まあ、特に付け加えることはないと思います。メイトが言ったように、それがどのように展開されるか見るのは興味深いですし、Geminiのトレーニングに役立っていることもわかっています。それは刺激的です。
これがMachine Learning Street Talkで、Alpha Evolveの次の段階についての情報を得た場所です。私は実際にGoogleが行った本質的に画期的なものについての素晴らしい発表やデモ、情報を得ることがよくありますが、これらのイノベーションの次は何かを知りたいと思いました。
自律性の次のステップはどのようなものになるのでしょうか？例えば、自分自身の評価関数を想像して、さらに数段階進むことができるかもしれません。それはどのようなものでしょうか？正直なところ、私の視点からすると、いくつかのことを自動化することは楽しく刺激的ですが、同時に少し自動化を減らす方向に傾くかもしれません。
Alpha Evolveを素晴らしく強力にしているのは、人間と機械のこのやり取りだと思います。人間が質問し、システムが何らかの形で答えを与え、そして直感を改善し、質問に答える能力、質問する能力を向上させ、さらに多くの質問をします。
私たちは信頼されたテスターとして学者にAlpha Evolveへのアクセスを提供し、彼らが何ができるかを見ることについて多く考えています。そのUIを構築しようとする中で、私たちは単に今あるものをウェブサイトとして実装するだけでなく、人間とAIの次のレベルの相互作用がどのようなものか考えています。人間はプロセスにどのように介入できるのか、例えばプロセスを監督したい場合、アイデアにコメントしたり、さらにアイデアを注入したりなど、そしてその領域を多く探索していて、このような共生の領域で何ができるかを見るのはとても刺激的です。
Googleが言及したもう一つのことは、将来を見据えると、デミスがFinancial Timesの記事でいくつかのことを述べたということです。彼はAIがますます複雑なタスクを独立して実行できるようになると予想しています。AIリサーチをさらに自動化できるAIエージェントは、数年後には登場すると予測しています。
これは、私たちがよく知っていることに戻ります。OpenAIの元従業員による状況認識を覚えていますか？彼らは様々な議論の余地のある理由で解雇されましたが、彼らが「すべてを自動化する必要はなく、AIリサーチだけでいい」と言ったことを覚えていますか。
これがインテリジェンス爆発がこれほど広く議論されている理由です。効果を下流に感じるためには、そのフィードバックループを正常に構築するだけで良いのです。本質的に、それがひとたび実現すれば、10年または100年の知識をわずか数ヶ月に圧縮することになります。
もちろん、そのようなことが起これば、さらに多くのブレークスルーにつながる、さらに多くのフィードバックループにつながります。全体として、AIがリサーチを自動化するために多くのことが必要ないことがわかります。主要な研究所でのAI研究者やエンジニアの仕事は完全に仮想的に行うことができ、他の分野と同じように現実世界のボトルネックに遭遇することはありません。
本質的には、機械学習の文献を読み、新しい質問やアイデアを思いつき、それらのアイデアをテストする実験を実装し、結果を解釈し、そして繰り返すだけです。いったんそのシステムが構築されると、物事は爆発的に進展するでしょう。論文が言及している驚くべきことは、最大のブレークスルーのいくつかが、チンチラのスケーリング法則の実装バグを修正したり、正規化を追加したりするなど、非常に単純なものだったということです。
AIリサーチは自動化可能で、AIリサーチを自動化することは物事を加速させることであり、それがこのビデオの冒頭で見たような特別なフィードバックループを開始するために必要なことです。驚くべきことに、私たちは基本的に軌道に乗っています。現在は2025年であり、3年後の2028年を見据えると、AIシステムが特定の数学問題を解決したり、ブレークスルーを達成できたこの大きなブレークスルーがあったばかりです。
3年後に、現在のAIシステムに意味のある実装を提供できるブレークスルーを生み出せる自動化されたAI研究者がいないとは誰が言えるでしょうか？そのフィードバックループはさらに強力になり、おそらく2030年までにスーパーインテリジェンスにつながる可能性が高いです。
フィクションのように聞こえるかもしれませんが、私が読んでいるすべてのニュースから、日々これがより可能性が高くなっているように思えます。
コメント