先週、AIに関するたくさんのニュースの中で埋もれてしまった情報の一つに、OpenAIやGoogleだけでなく、最先端のAIを開発している多くの研究所が出した手紙がありました。この手紙は必ずしもショッキングなものではありませんが、トップ企業で現在何が起きているのか、どのように開発が進められているのかを理解する必要があるという点で、懸念すべきものだと思います。
私が言及しているのは、「先進的な人工知能について警告する権利」という手紙のことです。この手紙は、今日のAIシステムの開発方法に直接影響を与えるものではありませんが、それでもこの会話は本当に重要だと思います。なぜなら、この手紙がショッキングなのは、OpenAIで働いていた多くの人々によって署名されているからです。11人中9人がOpenAIで働いていて、残りの2人はGoogle DeepMindで働いていて、そのうちの1人はAnthropicの創業者でもあります。確かにOpenAIの人が大多数ですが、最先端の研究所で働いていた、あるいは働いている人の中にも、同じ意見を持っている人がいることは明らかです。また、Yoshua Bengio氏、Geoffrey Hinton氏、Stuart Russell氏など、人工知能分野で非常に影響力のある名前によっても支持されています。Geoffrey Hinton氏はAIの父と言われています。
この情報にすぐにたどり着いたわけではありませんが、この件に関する情報はたくさんあります。単に手紙を書いただけではなく、これに関連する多くの情報があるのです。
基本的に、この手紙では、人工知能の危険性があれば、それを一般の人々に警告する権利を持ちたいと述べています。
手紙は、「我々は最先端のAI企業の現役および元従業員であり、AIの技術が人類にこれまでにない恩恵をもたらす可能性があると信じています」という文章から始まります。
そして、「我々はまた、これらの技術がもたらす深刻なリスクも理解しています。このリスクには、既存の不平等のさらなる定着（私のプライベートコミュニティで話したことですが、多くの人が注目していないことです）、操作と誤情報、自律型AIシステムの制御喪失による人類の絶滅の可能性などがあります」と述べています。
人類の絶滅が遠い将来のことだと考える人もいるかもしれませんが、業界のリーダーの多くは、AGI（人工汎用知能）はおそらく5〜10年後には実現すると考えています。2024年の今から考えると、5〜10年後というのはそれほど遠くありません。2030年までには、本当に信じられないほど強力なシステムができるかもしれません。その10年後には、人類の絶滅が現実的ではないとは言えなくなるでしょう。
人類の絶滅について考える際、大きなリスクではないと考える人もいるかもしれません。私が思うに、これらの非常に強力な技術の前例のない恩恵は、悪意のある者がこれらのモデルに無制限にアクセスし、かなりの量の損害を与えることができるということです。Lex FriedmanでのインタビューでRoman Yosiが最近言っていたように、超知能AIの危険性の一つは、AIが与えうる損害は常にその能力に比例するということです。どんな種類の武器でも、その武器の能力に比例しているのです。
ですから、超知能的なシステムや、本当に優れたシステムを持つことになれば、問題は自律型システムではなく、実際には人間かもしれません。これは、人々が常に考えておくべきことです。ターミネーターのことを考えるのはやめろと言うのは、自分自身のことを考える必要があるということなのです。
数億人、数十億人、あるいは人類全体に影響を与えるシステムを開発すれば、その被害は比例します。
AIの企業は、これらのリスクを認識しており、世界中の政府や他のAIの専門家も同様です。彼らは、これらのリスクは科学コミュニティ、政策立案者、一般の人々からの十分なガイダンスによって適切に軽減できることを期待していると述べています。しかし、AI企業には効果的な監督を避けるための強い金銭的インセンティブがあり、我々は企業統治の構造ではこれを変えるのに十分ではないと考えています。
私はこの部分がかなり重要だと思います。OpenAIの企業統治の構造を見ると、それがわかるからです。OpenAIの統治構造に言及し、「我々は企業統治の構造ではこれを変えるのに十分ではないと考えています」と述べているのは重要なポイントだと思います。Sam Altmanがどのように解雇されたかを実際に見てみると、OpenAIが設置していた統治構造が、CEOのSam Altmanを解雇するという取締役会の決定に重要な役割を果たしていたことがわかります。
基本的に6つの重要な要因がありました。最初の重要な要因の一つは、OpenAIのユニークな構造が、非営利団体を含んでいたことです。この非営利団体が営利子会社を支配していました。この設定は、利益動機よりも安全で有益なAGIを開発するという使命を最優先に保つことを保証するためのものでした。非営利の理事会が最終的に営利子会社に対する権限を持っているということは、理事会の決定が株主の利益ではなく、ミッションによって決定されるということを意味します。
そして、ここで取締役会の構成と独立性が問題になるのが2点目です。OpenAIの取締役会は、会社の株式を持たない独立取締役で構成されていました。この独立性は、利益相反を防ぎ、ミッションの最善の利益のために決定が下されることを保証することを目的としていました。しかし、問題は、それはまた、取締役会が投資家や株主の影響を受けずに決定を下すことができるということも意味しているのです。
MicrosoftのようなステークホルダーのSatya Nadellaは完全に驚いていて、「何が起きているんだ、君たちと連絡を取らないと」と言っていました。
株主に対する受託者責任がないため、理事会の主な責任は非営利団体のミッションであり、これにより、理事会はAltman氏のリーダーシップと会社の方向性に関する懸念を、彼の解任による潜在的な財務的影響よりも優先することができるのです。
つまり、OpenAIが持っていた取締役会の構造により、同社は他のステークホルダーへの事前の通知や協議なしにSam Altmanを解任することができたのです。これはかなりクレイジーなことでした。Sam Altmanが衝撃的な形で解任されたのを見ましたが、誰もそれが来るとは知りませんでした。しかし、ここでの問題は、これが投資家と従業員の反発を招き、最終的に取締役会にAltmanを復帰させることを強いたことです。この事件は、組織の様々な目標とステークホルダーの利益のバランスを適切に取れていない統治構造の結果を浮き彫りにしています。
対照的に、ガバナンスが人類の未来にとって本当に重要であることについて述べている記事があります。これらのAI研究所は本当に重要なことをしているからです。そして、これらの最先端の研究所の一つがやっていることの一つ、あるいは私が言うべきは、元OpenAIの従業員によって設立されたAnthropicが、そのミッションと財務目標の両方をより効果的にサポートするために設計されたガバナンスモデルを開発したことです。この記事は、Anthropicがどのようにしてこれを実現したかについて述べています。
「反例としてのAnthropicは、一部の取締役が株主によって選出され、他の取締役が長期的な利益信託によって選出される取締役会構造を採用しており、ミッションへの適合と受託者責任のバランスを保証しています」とあります。この構造は、様々なステークホルダーの視点を取り入れることで、OpenAIで見られたような対立の一部を防ぐことを目的としています。
全体的に、OpenAIでの混乱は、現在の企業統治構造では物事を運営するのに不十分だと多くの人が考えるきっかけとなりました。そのため、最近のLeopold Ashenbrenerとのインタビューでも、これらの研究所の一部は国有化される可能性が高いと述べています。あらゆるレベルで起きていることの一部は、政府が関与することを意味しているからです。
Leopold Ashenbrener: 人々はAGIについて話すとき、いつも民間のAI研究所のことだけを話していると思います。私はその前提に異議を唱えたいのです。我々が話してきた理由から、国家安全保障の分野が関与するようになるのはかなり可能性が高いと思われます。これがどのように見えるかには多くの方法があると思います。国有化なのか、官民パートナーシップなのか、防衛請負業者のような関係なのか、政府のプロジェクトのようなものなのか。しかし、我々のクラスターに文字通りの超知性があるとき、人々はこれがもっぱら政府のプロジェクトのように見えるチャンスを大幅に過小評価していると思います。10億人もの超知能の科学者がいて、彼らはすべてをハックすることができ、中国のデータセンターをハッキングし、ロボット軍隊の構築を始めているのです。本当に民間企業だと思いますか？政府は「何が起きているんだ」と言うでしょう。
そして最近、OpenAIは、Sam AltmanとDaniel Deweyの事件の約5ヶ月後に、ガバナンス構造の改善を発表しました。基本的に、彼らは取締役会に3人を追加することにしただけです。興味深いことに、Sam Altman氏は、突然追放された約5ヶ月後に取締役会に復帰しました。
彼らは基本的に、この全体の投稿を行って、「私たちの取締役会はかなりクレイジーだったことは知っていますが、できる限り改善しようとしています」と述べました。追加の独立取締役は、Altmanを監視し、彼を抑制するのに役立つでしょう。しかし、これはかなり興味深いことです。なぜなら、もう少し話したいことがあるからです。それが、この手紙がとても重要な理由です。
彼らは続けて、「AI企業は、そのシステムの能力と限界、防護措置の適切性、様々な種類の危害のリスクレベルに関する非公開情報を多く持っています。しかし、現在、彼らはこの情報の一部を政府と共有する義務が弱く、市民社会とは全く共有する義務がありません」と述べています。
これは非常に当てはまります。問題は、一部の政府がこれらのAIシステムについての情報をリリース前に入手していないことを覚えているからです。これはかなり大きな懸念事項です。非常に強力なレベルの知性を持つSL製品を開発している民間企業があるとします。特定の国や政府と「これを事前に提供します」と合意しているとしても、それは弱い義務であり、契約上のものではありません。
現在、私はこれから皆さんに記事をお見せしますが、その記事によると、ビッグテックは、これらのシステムが一般の人々にとって安全であることを保証するために必要な透明性を政府に提供しようとしていません。
ここでは、英国の首相であるリシ・スナック氏の写真が見られます。リシ・スナック氏は、AIを安全にすると約束しました。しかし、ビッグテックは協力的ではありません。英国の首相が称賛した画期的なAIテスト契約は、OpenAIやMetaを含む新興テック最大手に敬遠されています。
昨年末にブレッチリー・パークで開催された歴史的な会合で、サム・アルトマンやイーロンマスクなどのアメリカのテック業界の著名人たちは、厳重に守られているAIモデルを英国政府と緊密に共有することに合意しました。これは、デジタルに精通した英国の首相にとって大きな勝利と言えるでしょう。
しかし、これが手紙が書かれた理由です。6ヶ月後、リシ・スナック氏のAI安全研究所は、GPT-5のような最先端のAIモデルの安全性を、大きなセキュリティ上の脅威について確認するために、リリース前にテストすることに失敗しています。これは、画期的な契約を結んだと称賛されていたにもかかわらずです。
問題は、彼らが「これをします、あれをします」と言って、これらのイベントに来て物事を行うことができると言っても、これらのビッグテック企業がそうしようとしているようには見えないということです。
Anthropicのスポークスパーソンは、同社は英米両国の研究所とテストについて積極的に協議していると述べましたが、OpenAIはコメントを求める要請に応じませんでした。
「リリース前のテストの約束が、意味のある形で実現しないようなのは憂慮すべきことです」とAndrew Stratenは述べています。彼は、「これは、新しいモデルが、安全性についての独立した保証や理解なしにリリースされ、人々や社会に害を及ぼすリスクがあることを意味します」と述べています。
「AI企業の善意に頼ることはできないことが今や明らかであるはずです。自主的な合意は、このアクセスを提供するための法的義務の代替にはなりません」と彼は基本的に述べています。つまり、我々はこれらの企業が「私たちはあなた方にそれを提供します」と言うだけでは信用できません。物事を成し遂げたいのであれば、法的な義務が必要なのです、と。
手紙は続けます。「効果的な政府の監視がない限り、現役および元従業員は、一般の人々に対して彼らの責任を負わせることができる数少ない人々の中にいます。しかし、広範な守秘義務契約は、これらの問題に対処できていない可能性のある企業自身に対する懸念を表明することを阻止しています。通常の内部告発者保護は不十分です。なぜなら、それらは違法な活動に焦点を当てているのに対し、我々が懸念しているリスクの多くはまだ規制されていないからです。業界全体でこのような事例の歴史を考えると、我々の中には様々な形の報復を合理的に恐れている者もいます。そして、我々はこれらの問題について発言した最初の遭遇者ではありません」。
基本的に彼らがしようとしていることは、ご存知のように、OpenAIでガバナンスに携わっていた元AIリサーチャーではない人物で、OpenAIでAIについて多くのことを知っていた人物、つまりOpenAIで働いていたDanielのような状況があります。
長い話を短くすると、OpenAIを去り、OpenAIを批判したい場合、基本的に株式報酬の形で多額のお金を諦めなければなりませんでした。OpenAIが現在1,000億ドル規模の会社であることを考えると、基本的に100万ドル近くを諦めることになります。
OpenAIについて発言している多くの人々は基本的に、意味のある形でOpenAIを批判することができず、手が縛られているような状況にいました。
彼らは基本的に、「これらの守秘義務契約は、これらの問題に対処できていない可能性のある企業自身に対する懸念を表明することを阻止しています」と述べています。
これは、誰かが会社を去る理由が社会にとって有害なもので、彼らが何か間違ったことをしているかもしれない場合、それらの従業員が自分の持分を維持したり、少なくとも自分の仕事を維持したりしながら意見を表明できるような何らかの保護手段が必要だということです。
透明性の面で業界の助けになるかもしれないことです。ここでは、多くの従業員が署名を拒否すると数百万ドルを失う可能性があると書かれています。
本質的に、彼の道を去るにあたって、Koko Tajoは、厳格な非中傷条項を含む退職従業員のためのOpenAIの標準的な書類に署名することを拒否しました。これは、会社について否定的なことを言ったり、既得の持分を没収されるリスクを冒したりすることを禁じるものです。
多くの従業員が署名を拒否すると数百万ドルを失う可能性があります。Koko Tajoの既得持分は約170万ドルで、彼の純資産の大部分を占めていました。彼はそのすべてを没収する覚悟でした。
これはかなりクレイジーなことでした。なぜなら、多くの人々が、OpenAIの従業員が会社を去るときにその物事についてもっと自由に話さないのはなぜかと疑問に思っていたからです。
これはSam Altman自身がTwitterで議論したことでもあります。彼は、「OpenAIがどのように持分を扱うかについての最近の見解に関して、我々は誰の既得持分も取り戻したことはなく、今後も separation agreementに署名しない人の持分を取り戻すことはしないでしょう。既得持分は既得持分です。以上です。我々の以前の退出書類には、潜在的な持分のキャンセルに関する規定がありましたが、我々は何も取り戻したことはありません。これは、我々がどのような文書やコミュニケーションにも持っているべきではなかったものです。これは私の責任であり、OpenAIを運営していて本当に恥ずかしい数少ない時の1つです。これが起こっていることを私は知りませんでした。知っておくべきでした」と述べています。
CEOがこれが起こっていることを知らなかったのは、かなりクレイジーなことです。先見の明の欠如なのか、彼がたくさんのことをしているからなのかわかりませんが、それはかなりクレイジーです。
そして彼は、「チームは過去1ヶ月ほど、標準的な退出書類の修正作業を既に進めていました。もし以前のそのような合意に署名した元従業員が心配しているなら、私に連絡してください。それも修正します。本当に申し訳ありません」と述べています。
しかし、Voxが入手した流出メッセージと文書によると、Sam Altmanを含むOpenAIの上級幹部は、これらの持分取り戻し規定をよく認識しており、それに署名していたことがわかります。
Voxの記事で触れられているOpenAIのさらにクレイジーなことの一つに、高圧的な戦術があります。
「Voxに流出した何百ページもの文書を通して」、つまり、Voxは実際にたくさんの流出文書を入手したのです。これは本当に興味深いことでした。なぜなら、Voxは、OpenAIで何が起こっているかについてのスクープを持っていたからです。
彼らは、「Voxが調査した2つのケースでは、OpenAIが送った長く複雑な解雇文書は7日後に期限切れになりました。つまり、元従業員はOpenAIの口止めを受け入れるか、数百万ドルを没収するリスクを冒すかを決定するのに1週間しかなかったのです。その規模の決定にしては厳しいタイムラインであり、外部の弁護士を見つける時間もほとんどありませんでした」と述べています。
元従業員が法的援助を求め、文書を検討する時間を多く求めたとき、彼らはOpenAIから大きな反発を受けました。
「一般的なリリースと分離の合意は、7日以内にあなたの署名を必要とします」と書かれています。
後に同社が彼に送った文書には、次のように書かれていました。「既得の持分がある場合、退出文書（会社の方針で要求される一般的なリリースを含む）に署名しない場合、特に、将来の公開買付けやその他の流動性の機会に参加する資格がなくなることを理解することが重要です。つまり、署名するか、持分を売却する機会を諦めるかです」。
ここで手紙のさらなる部分に移ります。したがって、彼らは次のように述べています。「我々は、先進AIの企業に対し、これらの原則を守ることを求めます。リスク関連の懸念について、会社を中傷したり批判したりすることを禁止する合意を結んだり、強制したりしないこと。また、リスク関連の批判について、既得の経済的利益を妨げることで報復しないこと。現役および元従業員が、会社の取締役会、規制当局、および関連する専門知識を持つ適切な独立組織に、リスク関連の懸念を匿名で提起するプロセスを促進すること。企業秘密やその他の知的財産権が適切に保護されている限り、現役および元従業員がそのテクノロジーに関するリスク関連の懸念を、一般の人々、会社の取締役会、規制当局、または関連する専門知識を持つ適切な独立組織に提起することを支持する文化を支援し、認めること」。
基本的に、この手紙全体は、モデルが暴走した場合、一般の人々に何が起こっているのかを警告できるような健全な議論を確実に行うための何らかの方法が必要だというものです。現在、これらの企業は、基本的に彼らが望むことを行うことができ、何か問題が起これば、もちろん次の規制の領域を喚起することになりますが、人々は、キャリア全体を台無しにされたり、持分の一部を失ったりすることなく、これらのことについて話す能力が欲しいのです。
これらのことについて考えを聞かせてください。私は、これが非常に重要なことだと思いますが、Anthropic以外の企業が、この末期的な競争状態に陥っている中で、本当にこれに署名するとは到底思えません。
コメント