9,906 文字
OpenAIもそれ以外のフロンティアラボも、そして世界もAGIの準備はできていない。これは、OpenAIを去ることを決めた上級研究者のマイルズ・ブランデージの言葉です。6年間OpenAIで働いてきた彼は退職を決意し、OpenAIでの経験や今後の展望、そしてなぜ現在AGIの準備ができていないのかについて興味深いブログ投稿を行いました。
マイルズ・ブランデージはOpenAIのポリシー研究部門の責任者で、6年以上その職にありました。急成長を遂げた会社の中では長い在籍期間といえます。それ以前はオックスフォード大学でAIポリシーの研究フェローとして研究を行っていました。AIポリシーと安全性について誰よりも詳しい人物の一人といえるでしょう。
彼は約12年前、OpenAIのミッションである「AGIが人類全体の利益となることを確実にする」というようなことに人生を捧げることを決意したと語っています。それがOpenAIのミッションであり、オープンソースを信じるかどうかに関係なく、それが彼らのミッションなのです。
マイルズは「夢のような仕事であるOpenAIの経営陣やボードにAGIの準備状況についてアドバイスをする立場を去るのは簡単な決断ではありませんでした」と述べています。
彼は投稿の要点をまとめていますが、詳細な部分に興味深い内容が含まれています。まず、AI業界全体に関わる問題により多くの時間を費やし、より自由に発表できる立場になりたいと考えています。そして、より独立した立場になりたいというのが、この投稿全体のテーマとなっています。
非営利団体を立ち上げるか、既存の団体に参加する予定とのことです。これは興味深い点です。なぜなら、OpenAIも当初は非営利団体として始まり、それが彼が参加を決めた理由の一つだったかもしれません。現在では営利企業に転換していることは周知の事実です。
彼はOpenAIについて「素晴らしい職場であり、もしそこで働きたいと思うなら、その文化に合う人にとっては素晴らしい選択肢になる」と述べています。
OpenAIでの役割について、彼は研究者およびマネージャーとして6年間働き、ポリシーチームのリサーチサイエンティストとして始め、その後ポリシー研究部門の責任者となり、最近までAGI準備状況のアドバイザーを務めていました。
退職の理由について、業界の内部ではなく外部からAIの発展に影響を与えたいと考えたと説明しています。この独立性というテーマは投稿全体を通して繰り返し登場します。
具体的な退職理由として、機会費用が非常に高くなってきたこと、重要だと考える様々な研究トピックに時間を割くことができなくなってきたことを挙げています。OpenAIが急成長し、多額の収益を上げ始め、営利企業に転換するにつれて、実験や研究よりも収益を生む製品の開発に焦点を当てるようになったというのが一つのテーマのようです。
彼は「OpenAIの出版審査に関する立場に必ずしも同意してきたわけではありませんが、企業には一定の出版制限があることは理にかなっていると思います。私もOpenAIのポリシーの数々の改訂に関わってきました。しかし私にとって、その制限が大きくなりすぎてしまいました」と述べています。
つまり、彼や他のチームが行った研究を公表する機会が少なくなってきたということです。これが「Closed AI」と呼ばれるようになった理由の一つでしょう。最近、多くの研究者が退職している理由もここにあると推測されます。彼らは研究所として、オープンソースの会社として、オープンな非営利団体として参加したのに、突然すべてが閉鎖的になり、収益を上げ始め、ChatGPT-4や他のイノベーションに関する研究の詳細を公表しなくなったのです。
また、より中立的な立場になりたいという思いもあります。これも独立性を求める願望の延長線上にあります。組織の一員である時、その組織について公平な判断を下すのは難しいと述べています。OpenAIを批判したいわけではありませんが、「そこで働いているのだから偏っているのではないか」と指摘されることなく批判できる立場になりたいと考えているようです。
彼は「OpenAIで働いているということが、私の発言や業界の他の人々の発言がどのように受け取られるかに影響を与えています」とも述べています。
また、OpenAIに参加した時の目標をほぼ達成したとして、今後はAGIの準備に関する2つの側面に焦点を当てたいと述べています。「AGIの準備について、より明確に2つの側面を考えるようになりました。一つはOpenAIがより強力なAI能力を適切に管理する準備、もう一つは世界がそれらの能力を効果的に管理する準備です」
この投稿の冒頭の引用からも分かるように、彼はその準備ができていないと考えています。「経営陣とボードに対して、OpenAIが何をすべきか、どのような課題があるのかについて、かなりの量の意見を伝えてきました。後者については、外部からの方がより効果的に働きかけられると考えています」
つまり、最先端AIの管理についてOpenAIの課題を既にボードに伝えており、さらに公の場でより多くを語りたいと考えているのです。もちろん、外部に出ると情報へのアクセスは制限されますが、より批判的な立場を取ることができます。
この投稿で最も衝撃的な引用を再度見てみましょう。「AGIの準備状況について、OpenAIも他のフロンティアラボも準備ができておらず、世界も準備ができていません」
この引用で、彼は約1年前に公開した「AI統治に関する人類の進捗評価」という投稿にリンクを貼っています。この論文の詳細には深入りしませんが、約1年前の主要な柱についての評価を簡単に見てみましょう。
まず、「共通理解」（AIのメリットとデメリットの理解）についてはB-の評価です。一般市民はリスクが重大であることに同意し、規制を支持しています。
技術的ツールについては、かなりの人々が取り組んでいますが、もっと多くの人々が取り組むべきだとしています。
規制インフラについてはC+で、ここ数ヶ月で政策立案者がこの問題に真剣な注意を向け始めています。
正当性についてはD+で、これまでこの分野への取り組みは比較的少なかったとしています。OpenAIは現在多くを投資しており、それが続くことに期待していますが、成功の基準は高く設定されています。
社会的回復力については最低評価のFです。これは1年前の評価ですが、おそらく大きな変化はないでしょう。既にディープフェイクやTTS（テキスト読み上げ）の主張などが横行しており、プロビナンスやウォーターマーキングなどはモダリティやプロバイダーに関して、もぐらたたきのような状況であることが十分に認識されていないようです。
差別化された技術開発についてはD+で、基本的にAIの良い面はすべて市場原理で起きているとしています。つまり、お金にならないことは行われていないということです。安全性に関してはそれほど資金が投入されていません。
記事に戻りますが、彼はこの「準備ができていない」という発言は物議を醸す内容ではないと考えています。「これはOpenAIのリーダーシップの間でも物議を醸す発言ではないと思います。また、これは企業や世界が必要な時期までに準備ができているかという問題とは異なります」
つまり、今日準備ができていないということと、絶対に必要となる時期までに準備ができているかどうかは、全く異なる問題だと述べています。
AGIについても触れており、その定義が明確でないことや、自身が開発に関わったAGIのレベルフレームワークについて言及しています。そのレベルを簡単に見てみましょう。
レベル1は会話AI、これは既にChatGPTで実現されています。
レベル2は推論AI、これは現在のGPT-4モデルや他のフロンティアモデルで達成されつつあります。テスト時やインファレンス時の計算能力を与え、長期的な思考や推論が可能になった時点で本当のレベル2となります。
レベル3は完全に自律的に動作できる自律型AIエージェントです。これについては少し実現し始めていますが、真のレベル3の自律性からはまだ遠い状況です。
レベル4は革新的AI、これは自動的に自己開発・反復できるAIです。レオポルド・アッシェンブレナーの状況認識に関する論文で触れられていた知能爆発を引き起こすための要件となるものです。
レベル5は組織的AIです。この最終段階のスーパーAIは、組織全体の業務を実行できる人工知能を指します。つまり、企業や社会など、人々のグループとして行っていることを複製できるAIです。
記事に戻りますが、これまでの内容を踏まえて「OpenAIで働くべきか？」という問いに対して、彼は「OpenAIで働くことは、ほとんどの人が望みうる最も影響力のある仕事の一つです」と述べています。
つまり、OpenAIは依然として素晴らしい組織であり、適切なスキル、情熱を持ち、OpenAIのミッションに共感できる人にとっては素晴らしい職場だと考えています。しかし、OpenAIの全従業員が自分たちの仕事の影響力を十分に理解しているわけではないと示唆しています。
「OpenAIで働く誰もが、自分たちの行動や発言が組織の文化に貢献し、組織が極めて高度な能力の管理を始める際にポジティブまたはネガティブな経路依存性を生み出す可能性があることを真剣に受け止めるべきです」
要するに、OpenAIの外部でより多くのことができると考えているものの、次に何をするのでしょうか？
彼は新しい非営利団体を立ち上げるか、既存の団体に参加し、AIポリシーの研究とアドボカシーに取り組む予定です。「研究とアドボカシーを組み合わせて行う予定ですが、その詳細や比率はまだ決まっていません」
次のステップについて検討を始めたばかりで、共同創設者やコラボレーターを探していることにも触れています。興味がある人は、この投稿の最後にあるフォームから連絡することができます。
AIポリシーについて、彼は重要な指摘をしています。「この分野で多くの人々よりも長く働いてきた者として、コスト・ベネフィットの一方にのみ焦点を当てたり、異なるリスクの優先順位付けをする形で、分極化が進んでいることは非常に残念です」
これは何を意味するのでしょうか？基本的に、加速主義者対減速主義者という二項対立は意味をなさないと言っています。AIの利点を理解し、それが信じられないほど素晴らしいものになる可能性を認識すると同時に、明らかなリスクも考慮に入れるべきだということです。
私も同じように心がけています。私は非常に楽観的な傾向がありますが、同時に現実主義も取り入れようとしています。はい、物事は間違った方向に進む可能性もあります。
「心配すべきことも、期待すべきことも多くあります。一つのことだけを気にかける必要はなく、共通点を見つけるべきです」
ここで何人かの名前を挙げてみましょう。ゲイリー・マーカスのように、常にAIのネガティブな面だけを指摘し、些細な失敗や問題点ばかりを取り上げるべきではありません。また、ベス・ジソスのように、完全に前のめりで、常に全てを加速させようとするべきでもありません。
私自身がこのスペクトルのどこに位置するかと言えば、間違いなく加速主義者寄りです。なぜなら、私は楽観主義者で、これらのツール、テクノロジー、イノベーションが人類に大きく、信じられないほどの恩恵をもたらすと考えているからです。だからこそ、私はAIについて世界を教育し、できるだけ多くの人々にAIの価値をもたらすという個人的なミッションと会社のミッションを推進することに多くの時間を費やしているのです。
彼はさらにこう述べています。「AIとAGIが人類全体に恩恵をもたらすことは自動的には実現せず、意思決定者や政府、非営利団体、市民社会、産業界による意図的な選択が必要です。これは、リスク軽減だけでなく、例えば電気や現代医療のように、利益の公平な分配を確保するためにも必要です」
つまり、AIのすべての素晴らしい恩恵を手に入れ、すべてのリスクを軽減できたとしても、その恩恵が公平に分配されるようにする必要があるということです。これは特に、フロンティアAIがより高価になるにつれて、当然意味を持ってきます。彼にはそれについての考えがあり、私は必ずしも同意しませんが、彼は間違いなく私よりも知識が豊富です。
彼は続けて、AI能力は非常に急速に向上しており、政策立案者はもっと緊急に行動する必要があると述べています。政府の対応が十分に迅速ではないと考えており、その明確な例を挙げています。
数週間前、カリフォルニアのAI法案がギャビン・ニューサム知事によって拒否されたことを覚えているでしょうか。私はそれを喜んでいましたが、なぜ規制が適切でないと考えたのでしょうか？詳細には深入りしませんが、彼らは固定された数値に基づいて規制を行おうとしていました。例えば、モデルのパラメータ数が特定の値を超える場合、またはモデルの訓練に特定の計算量を使用する場合、登録が必要になるというものでした。
しかし、イノベーションとテクノロジーは非常に急速に進化しているため、それはもはやあまり意味をなさないのです。完璧な例が推論時の計算量です。パラメータ数や訓練に必要な計算量が基準を超えた場合に登録が必要になるというベンチマークがあったとします。しかし、突然テスト時の計算量が登場し、より小さなモデルでもテスト時の計算量をスケールアップすることで、元のベンチマークを超えることなく、非常に高性能なモデルを実現できるようになりました。
この場合、イノベーションが基本的にポリシーを無効化してしまったのです。彼はここでこう述べています。「学術文献でコンピュート・ガバナンスの深刻な分析が行われている範囲では、一般的に産業界の発展からかなり遅れをとっています。フロンティアAI企業内部の人々にとって、ここ数年、訓練だけでなく推論をスケールアップすることで、より高いパフォーマンスが可能になることが次第に明らかになってきています」
興味深いことがいくつかあります。一つは明らかに、彼はテスト時の計算量に非常に強気です。私も同様です。テスト時の計算量が本当に何ができるのか、まだ十分には見えていないと思います。しかし、訓練やデータだけでなく、実際の訓練後の推論時の計算量という全く新しい次元でスケールアップできるようになったのです。そして繰り返しになりますが、これは訓練時に基づく規制を完全に無効にしてしまうでしょう。
彼は規制について続けてこう述べています。「議会は米国AI安全研究所に十分な資金を提供すべきです。これにより、政府がAIポリシーについてより明確に考える能力を持ち、また産業安全保障局が、高度なAIチップが輸出された後どうなるのかについて、政府内で何らかの見識を持つことができるようになります」
さらに「全く新しい機関を設立するのにそれほど時間がないことを考えると、既存の法的権限の下での行動の機会や、EUのAI法のような既に承認された法律の実施の形成に特に興味があります」と述べています。
もし彼が本当にEU AI法を信じているのであれば、AIイノベーションの観点からEUを苦しめているその法律を抜本的に変更することを考えていることを願います。少なくとも私の視点からは、これまでのところうまく機能していないからです。
そして、彼が政府による規制が今すぐ必要だと本当に信じていることは明らかです。彼の規制の定義はこの記事からは明確ではありません。きっと多くの文書や投稿があるはずですが、私はまだそれらの多くを読んでいません。
彼は続けてこう述べています。「企業や政府は、デフォルトではAIの安全性とセキュリティに必要な注意を払わないでしょう」なぜでしょうか？それはお金にならないからです。推論の販売や企業や消費者を支援する製品の販売にお金があれば、そこにお金が流れていきます。しかし安全性には多くのお金が投じられないため、資金調達が難しく、必要な研究者や注目を集めることが難しくなります。
「規制が軽減に役立つ可能性のある、民間と社会の利益の不一致があります。また、安全性レベルに関する信頼できるコミットメントと検証の困難さも、さらにコーナーカットを助長します。人々は他者が優位性を得るためにコーナーカットを行うと想定し、真実が何なのか判断できない、あるいは後で考えを変えると考えています。企業が価値のある、そして潜在的に誤用される可能性のある知的財産を保護しながら、どのように安全性を信頼性を持って示すことができるのか、理解することに私は興味があります」
基本的に、モデルや研究の安全性を、その研究の秘密を明かすことなく、どのように示すことができるのでしょうか？これは非常に難しい問題です。「センシティブな情報を損なうことなくコンプライアンスを示すことの難しさは、イノベーションによる対処を必要とする軍備管理協定の主要な障壁となっています」
次にAIの経済的影響に移りましょう。彼はこう続けています。「今後数年間で（数十年ではなく数年で）、AIは十分な経済成長を可能にし、高い生活水準での早期退職が容易に達成できるようになると考えています」
数十年ではなく数年でAIが生産性と価値を大きく向上させ、人々がより若い年齢でより高い生活水準で退職できるようになるというのは、考えるだけでもすごいことです。
「それまでの間、リモートで行える作業を自動化する方が容易になる可能性が高いでしょう。近い将来、仕事を切実に必要としている人々の機会がAIによって失われることを非常に懸念していますが、同時に、人類は最終的に生活のための労働の義務を取り除くべきだと考えています」
これは考えるだけでもすごいことです。もちろん、このチャンネルでも以前話題にしました。最近、Worldcoinの創設者のSatとの対談でも話しました。ちなみに、もしその対談をご覧になっていない方は、私は非常に楽しかったので、ぜひチェックしてみてください。
将来、人々が働く必要がなくなるかもしれないというのは、本当に素晴らしい考えです。その発言には多くの含意がありますが、今はそれには深入りしません。ただ、非常に興味深いことです。そして、そうすること、つまり人々が働く必要がなくなることを可能にすることが、AIとAGIを構築する最も強力な論拠の一つだと述べています。
彼はまた、有料AIと無料AIの格差の拡大について語っています。ここで私は彼と意見が分かれ始めます。その前に、数ヶ月前にGPT-4が発表された際のサム・アルトマンの言葉を思い出してみましょう。「インテリジェンスは測定するのが難しいほど安価になる」
OpenAIのCEOは、インテリジェンスが基本的に無料になる時期に向かっていると考えていますが、これはマイルズの考えとは異なります。少なくとも、彼は有料AIが無料AIよりも大幅に優れているため、無料AIを使用する意味がなくなると考えているようです。
彼の言葉を少し読んでみましょう。「デフォルトでは、無料AIと有料AIの能力の格差が広がる可能性が高いです。レート制限以外は両者が完全に同等だった短い期間がありました。具体的には、GPT-4が最高の有料モデルであり、同時にユーザーが無料で利用できた時期です。しかし、その時代は過ぎ去り、企業がより多くの支払いを行うユーザーのためにテスト時の計算量を活用して競争するようになるにつれ、すぐに遠い記憶となるでしょう」
ここでいくつか整理すべき点があります。まず、モデルの純粋な知能だけを見た場合、私はインテリジェンスは実際にゼロに向かっていると考えています。特に、Metaから無料でオープンソースの素晴らしいモデルが登場していることを考えると。
しかし、テスト時の計算量は本当に興味深く、私はそのことを考えていませんでした。もしテスト時の計算量が高度な知能に到達するための新しいレバーであるなら、それはお金がかかることになります。オープンソースモデルがテスト時の計算量に到達できる量はありません。GPUやハードウェアが必要で、電気代やハードウェアの固定費用があるため、常にお金がかかります。
もしテスト時の計算量がAIの未来だと彼が正しければ、私たちはそれにお金を払わなければならないということを、私は考えていませんでした。
彼は「AIの善意に基づく施策は、現時点では市民社会や政府に十分な技術的専門知識がないため、非常によい意図を持っているものの、非効率的に見えます」と述べています。基本的に、お金がなければ、最高の人材を確保することはできないということです。
次に、コンピュート・ガバナンス、つまりハードウェアやGPUをどのように管理し規制するかについて語っています。「ソフトウェア、データ、人材と比較して、コンピューティング・ハードウェアには、AIポリシーの重要な焦点となる独自の特性があります。それは検出可能で、排除可能で、定量化可能であり、非常に集中したサプライチェーンを通じて生産されます」
ハードウェアは、ソフトウェア、モデル、重みとは非常に異なるプロファイルを持っています。それはずっと測定しやすいからです。「そのコンピューティング能力が海外に出荷された後、何が起こるかを監督する責任を持つ米国政府の部署が深刻な人員不足と資金不足にあること、そしてより一般的に、ここでのエンドゲームが何であるかについての真剣な政策議論がほとんどないことは懸念材料です。政府は産業界の発展からかなり遅れをとっています」
これは既に触れましたが、もう一度読んでみましょう。「フロンティアAI企業内部の人々にとって、ここ数年、訓練だけでなく推論をスケールアップすることで、より高いパフォーマンスが可能になることが次第に明らかになってきています」
彼は次に、グランドAI戦略について語り、AIに関する大きな計画を考える際に考慮すべき異なる柱について簡単に触れています。
「分散型AI開発の利点とその欠点のトレードオフを、どのように解決または軽減できるでしょうか？」
彼はこの記事全体を通して、オープンソースや分散型AIにはあまり触れていません。これが実際に言及している数少ない場所の一つなので、ここで見られることは嬉しいです。
「AIに関する条約や大規模な合意が可能な世界で、企業や国々はどのような政策行動を取るべきでしょうか？また、それが不可能な場合、AI研究の国有化や国際化から今日の自由放任アプローチまでのスペクトルの中で、どのような選択肢を考慮する価値があるでしょうか？」
「加速主義者対AI一時停止論者を超えて、AIの進歩の理想的なペースについての真剣な対話はどのようなものでしょうか？エネルギーや気候政策などの分野では、影響の全体像を単一の数値に集約する、議論の余地のある定量的フレームワークが存在します」
最後に、OpenAI退職後の独立性についてどのように維持するのかという話題に移ります。OpenAIは外部研究者として彼に資金提供、APIクレジット、早期モデルへのアクセスを提供したようです。彼はまだその申し出を受け入れていませんが、私はこれを本当に良いことだと思い、OpenAIがその正しい方向に向かっていることを称賛します。
もう一つの例として、OpenAI内部からOpenAIを批判できるようになったことが挙げられます。もちろん、給与を支払ってもらっている以上、会社に縛られているわけですが、退職後は以前あったNDAを実質的に無効にするなど、とても良い対応をしています。
これで彼の投稿は終わりです。最後に、彼と一緒に働くことに興味がある場合に記入できるフォームへのリンクがあります。
私はこれを興味深いと感じました。皆さんの考えをぜひ聞かせてください。コメント欄で意見をシェアしてください。もしこの動画が良かったと思われたら、いいねとチャンネル登録をお願いします。では、次回の動画でお会いしましょう。
コメント