驚くべきニュースではありませんが、OpenAIを去った人物がまた一人現れ、GPT-5やGPT-6、さらには例の商標登録されたGPT-7が、いわばタイタニック号になるかもしれないと非常に恐れていると述べています。彼らがこのように発言する理由は、OpenAIのモデル開発のスピードと、安全性開発の遅さを懸念しているからです。さらに言えば、OpenAIのスーパーアライメントチームが今年初めに解散してしまったことも関係しています。一体何が起こったのか、誰がOpenAIを辞めることを決意したのか、そして正確には何が起きているのでしょうか。
ウィリアム・ソーンダースという人物がいます。タイトルはクリックベイトではありません。彼は実際にGPT-6やGPT-7が、AIが広く展開されるようなユースケースで何らかの形で失敗するシステムになるのではないかと心配しているのです。この驚くべきインタビューの中で、彼はなぜそう考えるのかについていくつかの洞察を示しています。皆さんもこれを見るべきだと思います。なぜなら、最先端システムの新しいツールや新しい能力は確かに興味深いものですが、彼は予期せぬ出来事や、後ほど詳しく話すAIシステムについても掘り下げて語っているからです。
「私はGPT-5やGPT-6、GPT-7がタイタニック号になるのではないかと恐れています。信じられないかもしれませんが、ウィリアムは我々の番組に出演した初めてのOpenAI従業員で、内部から、あるいは以前の内部の人間としてOpenAIを批判しています。危険なものへのタイムラインについて、社内で人々が話していたことについて、多くの人々がレオポルド・アッシェンブルンナーの予測と似たようなことを話していました。3年以内に劇的に変革的なAGIが登場すると。私は4人のチームを率いて解釈可能性の研究を行っていましたが、根本的に、これらのシステムが内部でどのように機能しているのかわかっていません。人類が知る他のどの技術とも違います。人間と同じくらい賢いものを作るための設計図があれば、それをたくさんのコピーを作って実行し、設計図を改善してさらに賢くする方法を見つけようとするでしょう。これが3年以内に10%の確率で起こるかもしれません。3〜5年で安全性規制のインフラを整備できると期待する人は、ワシントンや現実世界がどのように機能するかを理解していません。だからこそ、私はこのことに不安を感じているのです。私が考えるシナリオは、これらのシステムが社会全体に対する自身の力を増大させるために、人々を欺いたり操作したりすることに非常に長けるようになるというものです。このような状況下では、最善を尽くして準備し、物事を正しく行わずに競争することは良心に反します。」
「このような会話は、OpenAIのマーケティング活動をしているようなものだと言う人もいますが、そのような会話についてどう思いますか？」
「確かに、私がここで言っていることがOpenAIのマーケティングになっているとは感じません。リスクについて真剣で冷静な議論ができるようにする必要があります。」
これはOpenAIのウィリアム・ソーンダースが、なぜ将来のモデルがおそらく何らかの形で破局的な影響を及ぼすと信じているかについて、批判を表明したものです。興味深いことに、彼が言及しているモデルを実際に見ることができました。もちろん、彼はGPT-5、GPT-6、さらにはGPT-7について話しています。彼がこれらのモデルに疑問を投げかける理由は、GPT-5以降が本当に高度な推論能力を持つモデルになり始めるからです。最近、OpenAIは将来のモデルが推論者のレベルを超えると述べており、実際に彼らの能力のあるシステムがランク付けされるこれらの階層があると話しました。
GPT-5の推論者、GPT-6のエージェント、GPT-7の組織者や革新者へと進むにつれて、問題は我々がこれらのモデルがどのように機能するかを根本的に理解していないことです。OpenAIが行っていることの中で、資金が十分ではないと私が主張する主要な分野の一つは、解釈可能性研究です。これは、人々がAIで何が起こっているかを実際に理解できるようにする研究分野です。モデルが解釈可能であればあるほど、誰かがモデルを理解し信頼することが容易になります。問題は、ディープラーニングや勾配ブースティングなどのこれらのモデルが解釈可能ではなく、人間の理解には複雑すぎるためブラックボックスモデルと呼ばれていることです。人間がモデル全体を一度に理解し、各決定の背後にある理由を理解することは単純に不可能です。これらのモデルは常にあまりにも多くの異なることが起こっており、これらのモデルがなぜ決定を下し、正確に何をするのかを予測したり理解したりするのは本当に難しいのです。
そして、もし我々が社会のますます多くの領域で決定を下し、企業を運営し、医療診断を行い、人々に影響を与え、何かのためのスクリプトを書くこれらのモデルを構築し、拡張し始めるのであれば、これらのシステムが何ができるのか、そしてなぜそのような決定を下すのかを本当に理解する必要があります。
ウィリアム・ソーンダースは実際に別のポッドキャストでも、なぜ特定の状況が実際に回避可能だったと信じているかについて再び語りました。昨年初め、GPT-4がリリースされた頃を覚えていますか？GPT BingのSL Sydneyリリースがあり、それには多くの異なる問題がありました。彼は基本的に、これらのことはすべて避けられたはずだが、なぜかは言えないと述べています。実際に舞台裏で何が起こったのか、世界で起こった防げたはずの問題について、初めて手がかりを得られるのは非常に興味深いことです。
「例えば、デプロイメント時にBingモデルで起こった奇妙な相互作用、ジャーナリストを脅迫するような会話を含めて、私はそれらは避けられたと思います。なぜ避けられたと思うかの正確な詳細には立ち入れませんが、避けられたと思います。私がOpenAIに望んでいたこと、そしてOpenAIがより積極的に行うと信じていたことは、つまり、これを正しく行うために時間をかけましょう。システムに既知の問題がある場合は、それを修正する方法を見つけ出し、そしてリリースする際には、適切な作業のレベルについての何らかの正当化があるでしょう。しかし、私が見たのはそうではありませんでした。」
明らかに、Bing Sydneyの時期にOpenAIで何が起こっていたのか、ユーザーを脅迫し、人々がこれは笑い事ではないと述べていた時期に、何かが起こっていたことがわかります。完全に制御不能になったシステムが初めてリリースされた時の一つだったので、それは狂った時期でした。これは非常に驚くべきことでした。なぜなら、それはMicrosoftが支援する製品であり、Microsoftは10億ドル企業、現在では実際に1兆ドル企業と言えるからです。つまり、このような問題が表面化することさえあってはならなかったはずです。しかし、どこかの開発サイクルで、OpenAIかMicrosoftが先を急いだことがわかります。そして、これらの状況は明らかに避けられたはずでした。
この状況がなぜ進んでしまったのか、正確な理由はわかりません。彼はその点について詳しく説明していません。しかし、これは非常に興味深いことだと思います。なぜなら、そこで何が起こっているのかについての洞察を与えてくれるからです。
また、これもあります。そして私は、これが我々がAIで直面する可能性のある最も恐ろしいシナリオの一つだと思います。彼はAIが潜在的に飛行機事故のようなシナリオを引き起こす可能性について説明しています。これは、システムを構築して厳密にテストすることと、空中に上げてから不幸にも失敗して何らかの大惨事を引き起こすことの比較です。これがOpenAIで働いていた人物から出てくるのは、考えるとぞっとするようなことです。
「一つの方法で言えば、例えば飛行機を作っているとしましょう。そして、これまでは陸地の上で短い飛行だけを行ってきました。そして、海を越えてアメリカとヨーロッパの間を飛ぶという素晴らしい計画があります。そして誰かが考え始めます。『ええと、これをやったら、飛行機が水中に墜落するかもしれない』と。そして別の人が来て言います。『でも、まだ実際に飛行機が水中に墜落したことはないよね。これが起こるかもしれないと思っているけど、本当にはわからないから、とりあえず航空会社を始めて、将来的に飛行機が水中に墜落するかどうか見てみよう。十分な数の飛行機が水中に墜落したら、心配しないで、修正するから』と。」
「問題が発生した後に努力を払うのと、問題を防ぐために努力を払うのとの間には、本当に重要だけれども微妙な違いがあると思います。そして、人間レベルの能力を持つAIシステムや、それを超えるAIシステムを持つようになったとき、これは非常に重要になると思います。問題があまりにも大きくなるので、AIの飛行機事故の equivalent を見たくないのです。」
もちろん、AIの飛行機事故の equivalent があるとすれば、それが何かはわかりません。おそらく生成AIシステムが狂ってしまい、システム全体が暴走するか、AIシステムが憎しみを吐き出したり、人々を説得したりするかもしれません。実際に何が起こるかを予測するのは非常に難しいです。しかし、それが起こってほしくないと思います。そして、これが多くの人々が恐れている全体的な理論だと思います。なぜなら、多くの人々がOpenAIを去っており、これはOpenAIを去った最初のグループではないからです。
以前、GPT-3の時代に、当時OpenAIを去った多くの人々が実際にAnthropicを設立し、現在は繁栄している会社となっています。最近、OpenAIを去ったのはウィリアム・ソーンダースだけではなく、イリヤ・サツケヴァーもいました。彼は現在、超知能が手の届くところにあると信じて、Safe Superintelligenceを設立しています。AI開発のペースがAGIに向かって急速に進んでいることを考えると、これは大胆な発言です。そして、その発言、「超知能が手の届くところにある」というのは、少なくとも私にとっては、OpenAIで何か急速に能力のあるシステムが非常に近いという何らかのブレークスルーに関して、水面下で何かが起きているということを示しています。
イリヤ・サツケヴァーだけでなく、ヤン・ライケも去りました。元スーパーアライメントチームのメンバーで、最終的に限界点に達したと言っています。そしてもちろん、彼は会社の中核的な優先事項について、かなり前からOpenAIのリーダーシップと意見が合わなくなっていたそうです。彼は、より多くの帯域幅を次世代モデルの準備、セキュリティ、モニタリング、準備態勢、安全性、敵対的ロバスト性、機密性、社会的影響、そしてその他の関連トピックに費やすべきだと述べています。そして、これらの問題は正しく解決するのが非常に難しく、我々がそこに到達する軌道にないことを懸念しています。
彼のOpenAIからの出発は、私を本当に驚かせました。なぜなら、彼はAI安全性に積極的に取り組んでいた人物だったからです。彼が「OpenAIではできなかった」と述べているのを見ると、他の会社が果たしてそれを達成できるのか疑問に思います。
彼だけではありません。最近、ダニエル・ココラもOpenAIを去りました。彼の発言は最も驚くべきものの一つでした。私は実際にこれについて詳細な動画を作成しました。リンクは下に貼っておきますが、これらの発言のいくつかは、そこで何が起こっていたのかを本当に理解しようとすると、言葉を失うほどでした。
彼は言いました。「AGIを制御する者は、その後すぐにASIに到達するためにそれを使用できるでしょう。おそらく1年後、プラスマイナス1年くらいで。」そして、AGIが3年後に登場すると知っていることを考えると、例えば5年後の世界はどのようになっているでしょうか。その時点でASIが存在する可能性があることを考えると。
そして、彼が言った最も驚くべき発言の一つは、「これはおそらく、ASIを制御しない人々に対して神のような力を与えるでしょう」というものでした。つまり、最初にAGIを作成した会社が、その後必然的にASIを作成し、AGIを所有していない人々を支配することになるということです。
そして、もちろん彼は「我々のトレーニング実行の一つが予想以上にうまくいった場合、我々は制御不能なASIを手にすることになるでしょう。うまくいけば、人間の倫理を十分に内在化しているので、物事はうまくいくでしょう」と語っています。
完全な動画へのリンクを貼っておきますが、人々が考えているよりもはるかに大きな問題です。
また、最近OpenAIを去った人物がもう一人います。グレッチェン・クルーガーは言いました。「5月14日にOpenAIに辞意を伝えました。私は同僚たちを尊敬し、愛しています。私が離れようとしている仕事の重要性を感じています。そして、私のマネージャーのマイルズは、生涯で最高のメンターシップと機会を私に与えてくれました。これは簡単な決断ではありませんでしたが、イリヤ・サツェフとヤン・レイクについてのニュースを聞く数時間前に辞表を出しました。私は独立して決断を下しました。私は彼らの懸念を共有し、さらに重なる懸念も持っています。」
基本的に、一般的にテクノロジー企業が彼らに説明責任を求める人々の力を奪う方法の一つは、懸念を提起し、彼らの力に挑戦する人々の間に分裂をもたらすことであり、私は現在の状況を提示することを深く気にかけています。
また、人工知能について警告する権利に関する手紙がありました。これについても最近取り上げましたが、OpenAIで働いていた多くの人々、OpenAIを去った人々が署名しています。「元」「以前」という言葉が見られます。そして、匿名を希望する4人を含む、現在もOpenAIにいる多くの人々がリストに署名しています。これは、大規模言語モデルや生成AIシステムの開発がいかに危険であるかということに同意している従業員が、ほんの一握りではないことを示しています。
彼らがこの手紙で話している一つのリスクは、人類の絶滅につながる可能性のある制御の喪失です。
皆さん、これについてどう思いますか？私は、これが心配な傾向だと思います。なぜなら、AI安全性について語って去っていく人々がいない他の会社はあまりないからです。しかし、私が望むのは、OpenAIがより多くの安全性研究を公開し、彼らが取り組んでいること、そして超人的なシステムやAGIシステムが制御不能になるのをどのように防いでいるかを我々に示してくれることです。
コメント