OpenAIの研究者が沈黙を破る『AGIは安全ではない

彼が何を言ったか見てください。なぜなら、おそらく現在世界で最も先進的なAI企業のリーダーが安全性に関する懸念から退社したのであれば、注目する価値があると思うからです。彼は『この3年間は本当に大変だった。私のチームは、InstructGPTで初の人間のフィードバックを伴う強化学習大規模言語モデルを立ち上げ、LMSに関する最初のスケーラブルな監視を発表し、自動解釈可能性と弱から強への一般化を先駆けて実現しました。もっと興味深いことがすぐに出てくるでしょう』と言っています。彼は、さらに研究が進むことを示していますが、私が見た開発のいくつかは、私自身にとっても非常に衝撃的です。彼は『この仕事を離れた理由の一つは、AIシステムをどのように操縦し制御するかを急いで解明する必要があるためです』と言っています。彼が24時間かけてこのスレッドを書いたことからも分かるように、『急いで』という言葉が重要であることを示しています。急いでという言葉は、今すぐにこれを行う必要があることを意味しています。私が見る限り、OpenAIはそれに焦点を当てていないように思えます。この種の技術に関する情報源として最も信頼できる情報源であることから、これを無視することはできません。OpenAIは競争相手を遥かに凌駕しているため、これらの超高度なシステムがどのように進化し動いているかを頻繁に観察していることでしょう。彼が『急いで解決する必要がある』と言っていることは、確実に懸念すべきことであり、多くの人々がAI安全性の問題を軽視していますが、安全性は全ての人が注目すべきことです。AIの影響は非常に広範で、超高度なAIの問題や生物学的リスク、社会的リスク、富の不均衡など、無数の問題が存在します。

彼は『OpenAIは、この研究を行うための世界最高の場所だと思ったため参加しましたが、長い間、会社の優先事項について経営陣と意見が合わず、ついに限界に達しました』と言っています。彼が働いていた間に、彼が提起した懸念が真剣に受け止められなかったことが明らかです。これは一度だけのことではなく、長期にわたって意見が合わなかったことを示しています。彼は『これ以上は無理だ』と感じ、完全に退社することを決断しましたが、これは理解できることです。しかし、これは依然として懸念材料です。最も信頼される安全性の研究者が限界に達し、退社することは、OpenAIが何を優先しているのかについて疑問を投げかけます。彼は『次世代のモデルに向けてのセキュリティ、監視、準備、安全性、敵対的な堅牢性、超整合性、機密性、社会的影響などの準備にもっと多くのリソースを割くべきだと信じています』と言っています。AIの影響は予測が難しく、予期せぬ結果が生じることが多いため、この分野に焦点を当てることは重要です。

OpenAIはGoogleのような億ドル企業と競争しており、システムの迅速な展開を目指していますが、これは『勝者が全てを取る』市場であるため、OpenAIはAGIの開発を急いでいるように見えます。彼は『現在の戦略では成功に到達できない』と言っています。これは非常に懸念されることであり、以前の研究者が懸念を表明し、株式報酬を放棄してまで会社の問題について話したこともありました。OpenAIのチームがコンピュートリソースの不足に苦しんでいたことが明らかになり、Microsoftとの提携で10億ドルの取引を行った理由もこれです。『超整合性』のチームは、全体の20％のコンピュートリソースを割り当てられる予定でしたが、それが実際に実現されていなかったようです。彼は『人間よりも賢い機械を構築することは本質的に危険な試みです』と言っています。チンパンジーと人間の知能の差はわずかですが、そのわずかな差が大きな違いを生んでいます。私たちが自分たちよりも賢いものを作る場合、その行動を理解し制御することができるかどうかは疑問です。

彼は『安全文化とプロセスが製品の背後に置かれた』と言っています。OpenAIはもはや単なる研究組織ではなく、ビジネスとプライベートカンパニーであり、それが成長のエコシステムに影響を与えています。彼は『AGIの影響について真剣に考える時期が来ている』と言っています。私たちは現在のタイムラインで追いついていないため、AGIの開発を一時停止して安全性研究に集中する必要があります。

昨日のビデオでは、彼らが問題を解決したと思っていましたが、実際にはそうではないようです。研究者たちは仕事を完了できず、他の場所に行くことを決めました。彼は『AGIの影響は非常に深刻であり、私たちはこれを最優先にする必要がある』と言っています。OpenAIは安全第一のAGI企業になる必要があり、そうでなければ成功は難しいでしょう。

OpenAIは長期的なAIリスクに関するチームを解散し、リーダーの2人が退社したことが確認されました。これにより、現在、誰も超整合性の研究をしていないことが明らかになりました。Sam Altmanは『研究と安全文化への貢献に感謝しており、彼が去ることを悲しく思っています。まだ多くのことを行う必要があります』と述べています。新しいチームが結成されるかもしれませんが、現時点では明確ではありません。Elon Muskは、OpenAIが安全を最優先にしていないことを示唆し、これが問題であると述べています。

現在、OpenAIは多くのプロジェクトに取り組んでおり、安全性が後回しにされているようです。これが変わるかどうか、Sam Altmanの次の動きに注目する必要があります。この問題について皆さんの意見を聞かせてください。次のビデオでお会いしましょう。