「現在起きている重要なことは、私たちが能力のはしごを非常に速いペースで上っているということです。世界を急速に、そして大きく変える3つのことが起こっていると思います。急速というのは、おおよそ1年から18ヶ月ごとに新しいモデルが登場するサイクルのことです。
1つ目は、コンテキストウィンドウに関する問題です。非技術者の方々にとって、コンテキストウィンドウとは、例えば「ジョン・F・ケネディについて調べて」といったプロンプトのことです。しかし実際には、このコンテキストウィンドウには100万語が含まれる可能性があります。今年、人々は無限に長いコンテキストウィンドウを発明しています。これは非常に重要です。なぜなら、システムからの答えを入力し、さらに質問を続けることができるからです。
例えば、薬品のレシピを作りたいとします。最初のステップは何かと尋ねると、「これらの材料を買ってください」と答えます。次に、「材料を買いました。次のステップは?」と聞くと、「混ぜる鍋を買ってください」と答えます。そして「どのくらいの時間混ぜればいいですか?」と聞きます。これは思考の連鎖と呼ばれる方法で、非常に汎用性が高いのです。5年後には、例えば科学、医学、材料科学、気候変動などの本当に重要な問題を解決するための1000ステップのレシピを作成できるようになるでしょう。これが1つ目です。
2つ目は、エージェントです。エージェントは、新しいことを知っているか、何かを学んだ大規模言語モデルとして理解できます。例えば、化学のすべてを読み、化学について何かを学び、化学に関する仮説をいくつか立て、実験室でテストを実行し、それをエージェントに追加するというものです。これらのエージェントは非常に強力になり、数百万単位で存在し、GitHubのようなエージェントの集積所ができると予想されます。
3つ目は、私にとって最も重要なもので、すでに始まっているテキストからアクションへの変換です。これは、「何かを行うソフトウェアを書いて」と言うだけで、24時間体制で動作するプログラマーを想像してください。奇妙なことに、これらのシステムはPythonのような言語でコードを書くのが得意です。
これらすべてを組み合わせると、無限のコンテキストウィンドウ、エージェントの能力、そしてこのプログラミング能力が手に入ります。これは非常に興味深いことです。ここから多くの疑問が生まれ、SF的な問題に入っていきます。私が挙げた3つのことは確実に起こっています。なぜなら、その作業は今まさに行われているからです。
ある時点で、これらのシステムは十分に強力になり、エージェント同士が協力し始めるでしょう。あなたのエージェント、私のエージェント、彼女のエージェント、彼のエージェントがすべて組み合わさって新しい問題を解決するようになります。ある時点で、これらのエージェントは独自の言語を開発すると考えられています。そこが私たちが自分たちの行動を理解できなくなる時点です。
そうなったら、文字通りコンピューターのプラグを抜くべきです。人間が理解できない方法でエージェントが通信し始め、行動し始めるのが本当の問題なのです。それが限界だと私は考えています。」
「では、それはどのくらい先の未来だと思いますか?」
「多くの予測がありましたが、明らかにエージェントやこれらの事象は今後数年以内に起こるでしょう。ある日突然、誰もが『ああ、神よ』と言うような形では起こりません。むしろ、毎月、半年ごとに能力が向上していく問題です。
合理的な予想としては、5年以内にこの新しい世界に入るでしょう。10年ではありません。理由は、莫大な資金が投入されているだけでなく、多くの人々がこれを実現しようとしているからです。3つの大規模な、いわゆるフロンティアモデルを持つ大手企業がありますが、はるかに低コストで非常に速いペースで反復している、一段階下のレベルでプログラミングを行っている多数のプレイヤーもいます。さらに、大量の研究も行われています。
私が言っていることのある版が5年以内、おそらくもっと早く実現すると考えるのには十分な理由があります。」
「さて、あなたは『プラグを抜く』と言いましたが、2つの質問があります。まず、どうやってプラグを抜くのでしょうか?さらに、プラグを抜く前に、すでに思考の連鎖の推論に入っていて、懸念されているものに向かっていることがわかっている場合、そこに到達しないように規制する必要はないのでしょうか?それとも、それは規制の範囲を超えているのでしょうか?」
「私たちのグループは西側諸国の政府と緊密に協力してきました。また、中国とも話し始めています。もちろん、これは複雑で時間がかかります。現時点で、欧州を除く政府は正しいことをしています。欧州は常に少し混乱しているようですが。彼らは信頼と安全性の研究所を設立し、物事を測定し、チェックする方法を学び始めています。
正しいアプローチは、政府が私たちを監視し、目標について混乱しないようにすることです。株主や訴訟などがある西側の企業が適切に運営されている限り、問題ありません。これらの西側企業は、責任や悪いことをすることについて大きな懸念を持っています。誰も人々を傷つけたいとは思っていません。彼らは朝起きて『誰かを傷つけよう』とは思わないのです。もちろん、拡散の問題はありますが。」
「コア研究に関しては、研究者たちは正直であろうとしています。」
「では、西側と言うことは、西側以外での拡散が危険だということですね。悪者は外にいるということでしょうか?」
「テクノ楽観主義者に思い出させるのに常に有用なのは、悪人が存在し、彼らがあなたのツールを使って人々を傷つけるということです。私のお気に入りの例は、顔認識技術です。ウイグル族を抑圧するために発明されたわけではありません。中国のウイグル族と呼ばれるマイノリティを抑圧するために顔認識を発明しよう、とは言わなかったのです。しかし、それが起こっています。
すべての技術は二重用途です。これらの発明はすべて悪用される可能性があり、発明者がそのことに正直であることが重要です。オープンソース、つまりモデルのソースコードや計算された数値である重みが一般に公開されると、それらは即座に世界中に広がります。そして、それらはどこに行くのでしょうか?もちろん中国に行きます。ロシアに行き、イランに行き、ベラルーシに行き、北朝鮮に行きます。
最近中国を訪れた際、私が見たほぼすべての作業が、西側のオープンソースモデルから始まり、それを増幅させたものでした。私が話している、最終的に10億ドル、100億ドルを投資するこれらの主要企業は厳しく規制されることは明らかです。私が心配しているのは、残りが規制されないことです。
別の例を挙げましょう。この誤情報の問題を見てください。私はこれはほぼ解決不可能だと思います。なぜなら、誤情報を生成するコードは本質的に無料だからです。善人も悪人も、誰でもアクセスでき、コストはかかりません。そして、非常に良質な画像を生成します。これには規制的な解決策がありますが、重要なのは、その猫はもう袋から出てしまっているということです。
これらのより強力なシステム、特に汎用人工知能に近づくにつれて、拡散に何らかの制限を設けることが重要です。そしてその問題はまだ解決されていません。」
「フェイ・リーはスタンフォード大学で、最大の問題は民間部門に多額の資金が流れていることだと主張しています。彼らの競争相手として、レッドラインや他の問題を検討するのは、あまり資金のない大学です。政府が何について話しているのかわからない状況で、これらの企業が十分に透明性を持って規制されることを本当に信頼していますか?」
「正しい答えは常に『信頼するが、検証する』です。真実は、信頼すべきであり、また検証すべきです。少なくとも西側では、検証する最良の方法は、検証者として設立された民間企業を使用することです。なぜなら、彼らは適切な人材を雇用できるからです。
私たちの業界の会話では、それが実際に機能する方法は、AIがAIをチェックすることになるということが明らかです。考えてみてください。新しいモデルを構築し、新しいデータで訓練し、一生懸命取り組んだとします。それが何を知っているかをどうやって知るのでしょうか?
以前の質問をすべて尋ねることはできますが、完全に新しいことを発見し、あなたがそれについて考えていなかった場合はどうでしょうか?システムは知っていることをすべて吐き出すことはできません。チャンクごとに、チャンクごとに尋ねる必要があります。したがって、AIが唯一の方法であることは完全に理にかなっています。人々はそれに取り組んでいます。
フェイの議論は完全に正しいです。私たちには裕福な民間企業と、信じられないほどの才能を持つ貧しい大学があります。すべての西側諸国で、ハードウェアの研究資金を得ることが主要な国家的優先事項であるべきです。
50年前、物理学者だった場合、サイクロトロンがある場所に移動しなければなりませんでした。なぜなら、それらは本当に難しく、高価だったからです。ちなみに、今でも難しく高価です。物理学者として仕事をするには、サイクロトロンの近くにいる必要があります。
ソフトウェアでは、そのようなことはありませんでした。私たちのものは資本集約的ではなく、資本節約的でした。私たちの業界での重訓練の到来は、巨大な経済的変化です。そして、企業はこれを理解し始めています。本当に裕福な企業、例えばマイクロソフトやグーグルのような企業は、何十億ドルも使う計画を立てています。なぜなら、彼らには現金があり、大きなビジネスがあり、お金が入ってくるからです。それは良いことです。
イノベーションはどこから来るのでしょうか?大学にはそのようなハードウェアがありません。しかし、彼らはそれにアクセスする必要があります。」
「中国についてお聞きしましょう。キッシンジャーの最後の中国訪問で、あなたは彼に同行し、彼は魯鵬とまさにこの一連の問題について議論しました。あなたのアイデアは、AIの潜在的な可能性と破滅的な可能性について議論するハイレベルグループを設立することでした。中国はこの中でどのような位置づけになるのでしょうか?一方で、あなたや他の人々が言っているように、中国と全力で競争する必要があります。なぜなら、悪意のあるプレイヤーや意図が存在する可能性があるからです。しかし、協力することが適切な部分はどこで、なぜでしょうか?」
「まず第一に、中国は生成AIについてかなり心配しているはずです。なぜなら、彼らには言論の自由がないからです。では、システムが彼らの国で許可されていないものを生成した場合、どうしますか?誰を投獄するのでしょうか?コンピューター?ユーザー?開発者?訓練データ?全く明らかではありません。
中国の規制当局は今のところ比較的知的に対応していますが、考えてみれば明らかなように、これらのものの拡散は中国では厳しく制限されるでしょう。なぜなら、それは根本的に彼らの情報独占に影響を与えるからです。それは理にかなっています。
キッシンジャー博士と私が一緒に中国と会話した際、そして残念ながら彼は亡くなりましたが、その後の会議は彼のインスピレーションによって設定されました。誰もが問題があることに同意しています。しかし、現時点では中国との間で、どちらの側にも実行可能な提案はありません。それでも問題ありません。なぜなら、複雑だからです。そして、関係する利害のために、実際に問題をどのように見ているかを説明するのに時間をかけるのは良いことです。
多くの西側のコンピューター科学者が中国の同僚を訪問し、これらのものの拡散を許可すれば、テロ行為につながる可能性があると説明しようとしています。生物兵器への悪用、サイバー攻撃への悪用などです。長期的な心配はもっと実存的なものですが、現時点では中国との会話は主に生物学的脅威とサイバー脅威に関する懸念によって大きく制限されています。
長期的な脅威は次のようなものです。AIについて話すとき、私は人間が生成したものとして話します。つまり、あなたや私が少なくとも理論上はコマンドを与え、それは非常に長いコマンドかもしれませんし、再帰的な意味かもしれませんが、人間の判断から始まります。技術的には再帰的自己改善と呼ばれるものがあります。モデルが実際に自身で実行し、学習し、どんどん賢くなっていくのです。それが起こるとき、あるいは異種のエージェント間の相互作用が起こるとき、私たちは全く異なる一連の脅威に直面します。それについて誰とも話す準備ができていません。なぜなら、私たちはそれらを理解していないからです。しかし、それらは来ています。」
「中国との対話がどのようなものになるか想像してみると、核拡散のようなものになるのでしょうか?つまり、彼らが存在的脅威を理解すれば、その水準から始めて、例えば拡散のためのIAEA（国際原子力機関）のようなものができるでしょうか?それは政治的な地平線上で可能だと思いますか?」
「中国との実際の条約を結ぶのは非常に困難です。私が関与しているのは、トラック2対話と呼ばれるものです。これは非公式で、教育的で興味深いものです。米国と中国の間で実際の交渉に至るまでに、政治状況がどうなるか、脅威の状況がどうなるかを予測するのは非常に難しいです。
単純な要件としては、完全に新しいものの訓練を行う場合、相手側にそれを行っていることを伝えなければならないというものがあります。そうすれば、相手を驚かせることはありません。冷戦時代のオープンスカイ条約のようなものです。
例えば、世界のどこかでミサイルが発射されたら、すべての国がそれが来ることを知っていると認めるという、驚きのないルールです。そうすれば、自国を標的にしていると結論を急がずに済みます。これは基本的なルールだと思います。
さらに、強力な訓練を行う場合、安全性に関するいくつかの合意が必要です。生物学では、BSL1から4までの広く受け入れられた生物安全性封じ込めのレベルがあります。これは完全に理にかなっています。なぜなら、これらのものは危険だからです。
最終的には、非常に強力な少数のコンピューターが存在することになるでしょう。それらは軍事基地にあり、軍事基地の何らかの原子力源によって電力を供給され、さらに多くの有刺鉄線と機関銃に囲まれているでしょう。なぜなら、その発明能力や力は、国家として許可なしに自国民に与えたいと思うものや、競争相手に与えたいと思うものを超えているからです。
私には、そのようなものが少数存在し、より広く利用可能な多くの他のシステムが存在するように思えます。」
「そして、そのようなシステムが存在することを中国に通知するということですね?」
「はい、それが答えの一つになる可能性があります。」
「そして、その逆も然りですね?」
「はい、これらのことはすべて相互的です。中国での暴走したエージェントが最終的に武器にアクセスし、それが何かのゲームだと愚かにも考えて発射するような状況は避けたいのです。なぜなら、これらは人間ではないことを覚えておいてください。必ずしも結果を理解しているわけではありません。
これらのシステムはすべて、次の単語を予測するという単純な原理に基づいています。ここでは高度な知能について話しているわけではありません。人間が持つような感情的理解や歴史、人間的価値観については確実に話していません。
人間の経験の恩恵を受けていない非人間的知能を扱う場合、どのような制限を設けるべきでしょうか?そして、おそらくそれらについていくつかの合意に達することができるでしょう。」
「彼らは西側と同じように指数関数的に進歩しているのでしょうか?生成AIに何十億ドルも投入されていますが、中国は政府や企業から同等の資金を得ているのでしょうか?」
「中国では、私が完全には理解していない理由で、同じレベルではありません。私の推定では、今それを詳しく検討した結果、彼らは約2年遅れています。2年はそれほど長くありませんが、明らかに遅れています。
少なくとも4つの企業が、私が話してきたような大規模なモデル訓練を試みています。それらは中国の明らかな大手テクノロジー企業です。彼らは最高のハードウェアへのアクセスがないため、障害を抱えています。そのハードウェアはトランプ政権、そして現在のバイデン政権によって輸出が制限されています。
これらの制限は、緩和されるよりも厳しくなる可能性が高いです。そして、NVIDIAとその競合他社のチップの価値が上がるにつれて、中国は関連性を保つのに苦労するでしょう。」
「中国にそれらのチップを流さないことに同意しますか?」
「チップは重要です。なぜなら、このタイプの学習を可能にするからです。より遅いチップでも常に可能ですが、より多くのチップが必要になります。したがって、事実上、中国の開発にコスト税をかけているようなものです。それがそれを考える一つの方法です。」
「最終的に決定的なものですか?中国がそこに到達できないということを意味しますか?」
「いいえ、そうではありません。しかし、それをより困難にし、より長い時間がかかることを意味します。」
「西側としてそうすべきだと思いますか?」
「西側はそうすることに同意しました。私はそれで良いと思います。それは良い戦略です。私がはるかに懸念しているのは、オープンソースの拡散です。理由は、そして私は確信していますが、中国も同じ懸念を持つでしょう。これらのことがあなたの政府に対しても、私たちの政府に対しても悪用される可能性があることを理解していますか?ということです。
シナリオとしては、オープンソースの人々が基本的にガードレールと呼ばれるものを作成し、微調整を行い、RHFと呼ばれる技術を使用して悪い回答のいくつかを排除するというものです。すべての重み、すべてのものを与えられれば、それらを元に戻してモデルの生の力を見ることは比較的容易であるという十分な証拠があります。これは大きな懸念であり、この問題はまだ解決されていません。」
「エンジニアリングの…」
「リバースエンジニアリングですね。そして、それはまだ解決されていません。」
コメント