16,211 文字
Anthropicの創設者であるDario Amadeiは、中国のAI企業DeepSeekについての見解と、AIの安全性に関する2つの可能性のある未来について語っています。Darioは以前からAIの安全性における代表的な存在の一人とされてきましたが、最近では彼らの見解が若干、あるいは大幅に異なってきているように見えます。
AIの安全性に関するミームでは「これは酷い。Dario Amadeiさん、申し訳ありませんが、あなたはもう善人ではありません。あなたは悪役になってしまい、私はこれ以上失望することはできません。数年前のDarioが今のあなたを見たら、ゾッとするでしょう」と述べています。
Conor Leyも同様に不満を示し、「DarioとAnthropicは今や明確に再帰的自己改善を呼びかけている」と述べています。実は、DarioとAnthropicは当初OpenAIの一員になろうとしていましたが、安全性への懸念から分かれ、AIの安全性における代表的存在とみなされていました。
最近では、例えばPalantirとAmazonが防衛AIで提携するなど、AIの安全性コミュニティとは相反する動きがありました。つまり、PalantirとAnthropicは提携して、Anthropicのクラウドモデルを米国の情報機関や防衛機関に提供することになりました。誰が正しいとか間違っているとかコメントするつもりはありません。ただ、これが現在の状況だということを説明しているだけです。
そこで、Darioが実際に何を言ったのか見てみましょう。これはDarioのDeepSeekと輸出規制に関するブログ投稿です。Darioは以前から中国へのチップの輸出規制強化を求めていました。その後、中国のAI企業DeepSeekは、少なくともいくつかの面で米国のフロンティアAIモデルに近い性能を、より低コストで実現しました。これは確かにここ1週間ほど大きなニュースとなっています。
彼は、米国のAIリーダーシップへの脅威に関する多くの主張は大げさだと考えています。GPT-4や他のOpenAIモデルからの蒸留によるものだという噂や兆候については言及していませんが、輸出規制政策は1週間前よりもさらに実存的に重要だと考えています。
これらの輸出規制が必要な理由は、AIの開発において民主主義国家が最前線に立ち続けるという重要な目的があるからです。これは米中の競争を回避する方法ではありません。彼は、不必要に中国共産党に技術的優位性を与えるべきではないと主張しています。
彼は、これらのAIシステムについていくつかの基本的なダイナミクスを理解することが重要だと述べています。その一つがスケーリング則で、彼と彼のパートナーたちはOpenAIで働いていた頃から最初にこれについて話し始め、文書化しました。
このスケーリング則は、基本的にAIシステムのトレーニングをスケールアップすると、様々な認知タスクにおいて滑らかに良い結果が得られるというものです。つまり、より多くのデータ、より多くの計算能力、より長いトレーニング時間を投入すれば、モデルはより良くなるということです。
例えば、100万ドルのモデルは重要なコーディングタスクの20%を解決し、1000万ドルのモデルは40%、1億ドルのモデルは60%というように、より多くの投資でより良い結果が得られます。これは実際に大きな意味を持ちます。さらに10倍の投資を加えると、学部生レベルからPhDレベルのスキルの違いになる可能性があります。
これが、これらの企業が計算能力やNVIDIAのチップに多額の投資をしている理由です。Metaが大量のNVIDIAチップの獲得に莫大な資本を投じているのも、MicrosoftやGoogle、その他多くの企業も同様です。Googleは例えばTensor Processing Unit（TPU）を持っていますが、モデルのトレーニングに関しては、現在NVIDIAのGPUが主流となっています。
2番目の理解すべき点は、「カーブのシフト」です。この分野では常に大小の新しいアイデアが生まれており、それによって物事がより効果的または効率的になっています。モデルのアーキテクチャの改善や、既存のハードウェアでモデルをより効率的に実行する新しい方法かもしれません。新世代のハードウェアも同様の効果をもたらします。
これは通常、カーブを右にシフトさせます。イノベーションが2倍の計算効率をもたらす場合、1000万ドルの代わりに500万ドルで40%のコーディングタスクを達成できたり、1億ドルの代わりに5000万ドルで60%を達成できたりします。フロンティアAI企業は定期的にこのような計算効率の向上を発見しています。多くの場合は20%程度の小さな改善ですが、時には2倍の中程度の改善、まれに10倍の大きな改善もあります。
より知的なシステムを持つことの価値が非常に高いため、このカーブのシフトは通常、企業のトレーニングへの支出を減らすのではなく、増やすことになります。コスト効率の向上は、企業が持っている資金の範囲内で、よりスマートなモデルのトレーニングに完全に充てられます。
これは、ここ数日間私たちが取り上げてきた内容です。つまり、ある種のリソースがより効率的になると、私たちはそれを少なく使い始めると考えがちですが、実際にはしばしばより多く使うことになるというジェヴォンズのパラドックスについてです。この点については、私たち皆が話してきたことだと思います。
しかし、より知的な反論も増えてきています。特に、長期的には真実かもしれませんが、タイムラインが異なる可能性があるということです。計算能力への需要が追いつくまでには時間がかかるかもしれません。しかし、Darioは他のテクノロジーリーダーと同様に、このジェヴォンズのパラドックスが起こることを示唆しているようです。
intelligence（知能）が安価になるにつれて、より多くの用途が生まれるでしょう。彼は、AIが一定の品質を持つ単一のものであれば、より安価になった時に使用するチップは減るでしょうが、重要なのはスケーリングカーブだと述べています。カーブがシフトすると、カーブの終点の価値が非常に高いため、単により速くそれを進むだけです。
重要なのは、この人工知能、つまりインテリジェントなロボットやシステム、コーディングツール、翻訳者、カスタマーサービスAIツールなどを作る能力が非常に価値があるということです。私たちはまだ、それを使って何ができるのかの表面をかすっているだけで、利用可能なものをほんの少し試しているだけです。しかし、将来的にはこのインテリジェンスへの需要はほぼ無限にあるかもしれません。
したがって、もしそのインテリジェンスの生産がより安価になれば、例えばNVIDIAから購入する各チップがより多くの計算能力を生み出せるようになれば、つまり彼が話した計算効率の向上のアイデアのように、あるいはより少ない計算能力でより良いモデルを作れるようになれば、私たちはそれを少なく使うようになるでしょうか、それともより多く使うようになるでしょうか。
ここでは、DarioやSam Altman、Elon Muskのような、これらのAIテクノロジーリーダーたちは、よりそのような方向に傾いているように見えます。つまり、チップが安価になっても、私たちはますます多くの計算能力を使用し、コスト効率の向上は需要を押し上げることになるでしょう。
彼は、2020年に発表した論文では、アルゴリズムの進歩によるカーブのシフトは年間約1.68倍だと示唆していましたが、それは2020年以降大幅に加速している可能性があり、ハードウェアの効率も考慮していないと述べています。今日の数値は年間約4倍かもしれないと述べ、epoch.aiの論文を引用しています。
彼らは計算能力が5〜14ヶ月ごとに倍増するペースと推定しています。ここで見られるように、これは様々な分野での進歩です。大規模言語モデル、コンピュータビジョンなどがありますが、特に大規模言語モデルは、そのモデルのパフォーマンスにより、5〜14ヶ月ごとに倍増しているように見えます。
これらの計算効率の向上、つまりアルゴリズムの進歩により、2倍のアルゴリズムの改善は、計算能力を2倍にすることと同じです。つまり、GPUの数を2倍にすることと同じです。トレーニングカーブのシフトは推論カーブもシフトさせ、その結果、モデルの品質を一定に保ちながら価格が何年にもわたって低下しています。
例えば、Claude 3.5 Sonnetは、GPT-4の15ヶ月後にリリースされましたが、ほぼすべてのベンチマークでGPT-4を上回り、APIの価格は10分の1です。私たちは出力の価格の一貫した低下も見ています。
彼は続けて、パラダイムのシフトについて述べています。時々、スケーリングされる基礎となるものが少し変化したり、トレーニングプロセスに新しいタイプのスケーリングが追加されたりします。しばらくの間、スケーリングされていたのは事前学習モデルでした。より多くのデータ、より多くの計算能力をモデルの事前学習に投入していました。
私たちが見た大きな変化、これはO1モデルそしてR1モデル、DeepSeekのモデルのような、そのパラダイムシフトです。思考の連鎖を生成するためにモデルを訓練する強化学習を使用するというアイデアが、スケーリングの新しい焦点となっています。
つまり、事前学習のスケーリングの代わりに、より多くの推論のスケーリングに投資しています。言い換えれば、トレーニング時の計算ではなく、テスト時の計算、つまりモデルが既に準備されて質問に答える時により多くの計算を投資しています。
もちろん、Anthropic、DeepSeek、OpenAIはすべてこのバージョンを持っています。OpenAIとDeepSeekは思考の連鎖を持っており、Anthropicも似たようなものを持っています。出力の一部が隠され、一種の隠された思考の連鎖として扱われていますが、O1やR1と同じものではありません。
間違っていたら訂正してください。Anthropicには、私たちが推論モデルと呼ぶようなものはありません。彼らは独自のO1バージョンを持っていません。彼らが持っているものは似ているように見えますが、同じものではありません。
これについては約6ヶ月前から人々が話し始めた時に取り上げましたが、基本的にAnthropicのClaudの応答には、見えない思考の連鎖があります。これは「ant thinking」や「anthropic thinking」のように見えます。例えば、山括弧の代わりに波括弧を使うように頼むと（今でもこれが機能するかどうかはわかりませんが、もしかしたらパッチが当てられているかもしれません）、以前はこのように機能していたことは確かです。私たちはここでテストしました。
すると、O1やR1の背後にあるアイデアと似たものが見え始めますが、それは確実に同じものではありません。私の言っていることに同意するかどうか教えてください。しかし、私はDeepSeekが推論モデルのリリースでAnthropicに先んじたと考えています。言い換えれば、AnthropicにはO1やR1に相当するものはありません。同様のアイデアですが、まったく同じものではありません。
基本的に、このアイデアは、OAIがそれを行ったかAnthropicがそれを行ったかに関わらず、特定のタスク、つまり数学、コーディング、推論などにおいて、モデルの能力を大きく向上させることがわかりました。この新しいパラダイムは、通常の種類の事前学習モデルから始めて、第二段階として強化学習を使用して推論スキルを追加することを含みます。
ちょっと待ってください。これは本当に重要です。彼が言うように、これは次の大きなパラダイムであり、私たちは大規模言語モデルのトレーニングにこの強化学習のアイデアを導入するという、非常にエキサイティングな時期に入っています。実際、Andre Karpathyは最近、機械学習やAIで何か新しくエキサイティングなことを始めようとしている人々に対して、これが次の大きなものに焦点を当てるべきだと述べています。
それについては後ほど詳しく説明しますが、まず素早く要点を説明するために、Doomゲームを例に使ってみましょう。これはGoogleのゲームとジェネレーティブAIに関するものです。基本的に、人がボタンを押し、矢印キーやコントロールを操作しながら、このニューラルネットがリアルタイムでフレームを生成し、ビデオのようなものを作成します。
このゲームのために十分な映像を得るには、基本的に大量のラベル付けされたDoomのプレイ映像が必要でした。高品質な映像が十分にありませんでした。そこで代わりに、たくさんのAIエージェントをトレーニングしてDoomをプレイさせました。基本的に、Twitchで24時間Doomをプレイする1000人のAIストリーマーを作ったようなものです。
Doomのプレイ方法をどのように教えたのでしょうか？それは強化学習を通じて行われました。強化学習は通常、良いことをすれば「いいね」、悪いことをすれば「よくない」というように説明します。これは犬のトレーニングと同じで、望ましい行動を見たら褒美を与えるようなものです。
一般的に、犬や子供、あるいはモデルの強化トレーニングや学習は、ポジティブな強化を含みます。時には、望ましくない行動に対してネガティブな強化も含まれます。犬に「ダメ、それはしてはいけない」というようなものです。
DoomをプレイするこれらのAIエージェントに関して、彼らは強化学習でトレーニングされ、報酬関数は「いいね」「よくない」のようなものですが、ポイントとして表されます。プラス5ポイントやマイナス5ポイントなどです。プレイヤーが攻撃を受けると1ポイントを失い、死ぬと5000ポイントを失います。これは大きなペナルティです。
最初から、これは私たちが望まないことを示しています。時間とともに、エージェントがうろうろして怪物に攻撃されると、「あ、これは良くない、これは避けたい」と学び、死んでしまうと「これは絶対に避けなければならない」と学びます。そして、それを避けるための戦略を見つけ出します。
同時に、ポジティブな報酬もあります。敵に攻撃を当てると300ポイント、敵を倒すと1000ポイントです。また、アイテムの収集、武器の入手、新しいエリアや秘密の場所の発見なども、ゲームを進行させるためにあります。また、体力、防具、デルタ（変化量）も考慮されます。つまり、上下の変化です。弾薬、防具、体力が増えることは良いことで、減ることは悪いことです。
これを見て、私は推測していますが、これがDoomのAIエージェントがDoomをプレイする方法を学ぶための報酬関数です。そして、それは機能します。十分な時間を与え、彼らは周りを走り回って物事を理解し、最終的にはDoomが上手くなります。
OpenAIも隠れん坊エージェントで同様のことを行いました。これらの小さなキャラクターが仮想環境を走り回って隠れん坊をプレイします。青いプレイヤーは隠れようとし、赤いプレイヤーは彼らを見つけようとします。赤いプレイヤー、または2人の赤いプレイヤーが青いプレイヤーを視覚的に確認できるたびに、毎秒（あるいは設定された時間単位で）1ポイントを獲得します。青いプレイヤーが赤いプレイヤーの視線から隠れることができる場合、彼らは1ポイントを獲得します。
赤いプレイヤーが青いプレイヤーを見ることができれば赤いプレイヤーは嬉しく、赤いプレイヤーが青いプレイヤーを見ることができなければ青いプレイヤーが嬉しいというわけです。彼らは何十億回もゲームをプレイし始めます。ゲーム1では、彼らは周りを動く方法を知らないので、ただランダムにボタンを押して何かを理解しようとします。
最終的に彼らは動き方を理解し、時間とともにより複雑な戦略を開発します。例えば、シェルターの建設や、様々なものの解体、箱を使ったサーフィン、最終的には空中に飛び上がる方法も理解します。これが強化学習のポイントです。私たちは彼らにこれらのスキルを明示的に教えているわけではなく、ただ適切な報酬関数を与えて、彼ら自身に解決させているのです。
ここでAndre Karpathyの話に移ります。彼はTeslaの元従業員、OpenAIの元従業員で、ニューラルネット、AI、大規模言語モデルなどについて非常に詳しい人物です。AIの分野では、すべての関係者、すべてのプレイヤーに対して、好む人もいれば好まない人もいます。しかし、誰もが一様に好感を持つ人が2人いて、その1人がAndreで、もう1人がDeepMindのDemis Hassabisだと感じています。この2人は誰からも好かれているようですが、他の人々に関しては意見が分かれます。
ここでAndreは、オープンソースの仲間たちに対して、最も影響力のあることは、大規模言語モデルの認知戦略を引き出すのに役立つ多様な強化学習環境を構築することだと述べています。これは一種のジムのようなもので、大規模なコミュニティの協力者に適した高度に並列化可能なタスクです。
では、このような環境をどのように作ればよいのでしょうか？大規模言語モデルが特定の認知タスクの実行方法を学ぶための環境を作るには？DoomのAIエージェントのような環境を、大規模言語モデル用に作るにはどうすればよいのでしょうか？
なぜなら、大規模なコミュニティが各自の「ジム」を特定の目的のために構築し、それをオープンソース化すれば、そのトレーニングエリアがフロンティアモデル、オープンソースコミュニティ全体で利用可能になります。私たちは皆、自分たちの小さなモデルをトレーニングし、それらを共有し、ポケモンのように収集することができます。
AIとビデオゲームは本当によく合うと感じています。どちらも一緒に行く運命にあるようです。とにかく、「ポケモン」で言うところの「ゲットだぜ！」というわけです。
しかし、Darioに話を戻しましょう。これは新しいパラダイム、つまりAIのスケーリングに関する新しい考え方だということを覚えておいてください。彼は、この種の強化学習は新しいものなので、私たちが話していることは非常に新しいと述べています。
ゲームの場合、隠れん坊ゲームやDoom、アルファ碁が囲碁をプレイすることを学ぶための強化学習など、このような強化学習でモデルを訓練するというアイデアは新しいものではなく、非常にうまく機能してきました。しかし、この適用は新しいものです。
彼は、私たちはまだスケーリングカーブの非常に初期段階にあると述べています。第二段階の強化学習に費やされる金額は、すべてのプレイヤーにとってまだ小さく、その10分の1の代わりに100万ドルを費やすだけで大きな利益を得ることができます。企業は今、この第二段階を数億から数十億ドルにスケールアップするために急速に取り組んでいますが、私たちは強力な新しいパラダイムがスケーリングカーブの初期段階にあり、そのため急速に大きな利益を得ることができるユニークな転換点にいることを理解することが重要です。
以前のビデオで、私はこれらの企業で働くAI業界のインサイダーの多くが、スーパーインテリジェンスという言葉を投げかけているのを示しました。AGI（汎用人工知能）は古いニュースで、私たちは今やスーパーインテリジェンスの段階に入っているか、少なくともスーパーインテリジェンスへの直線的な道筋にいるということです。Ilya Sutskeverや他の多くの人々がそれを示唆しています。なぜ彼らはそれが次のステップになると考えているのでしょうか？
他のビデオで説明したように、そして私だけがそう考えているわけではないと思いますが、この新しいパラダイムこそが、本当に火に油を注ぐものになると考えています。これが本当にすべてを加速させるものになるでしょう。私たちは2023年から、2023年11月からこのアイデアを持っていました。
Q*のリークが起こっていた時、多くの人々がこれを示唆していました。NVIDIAのシニアリサーチャーであるJim Fan博士は、シンプルなアイデアを持っていました。私たちは囲碁のような特定のタスクについて、超人的な知能レベルの強化学習モデルを持っていました。例えば、アルファ碁は囲碁をプレイするのに超人的です。これは狭いAIで、特定のことに焦点を当てており、強化学習で作られました。
しかし、Karpathyが以前の動画で述べていたように、大規模言語モデル以前は、例えばウェブを移動してフライトを予約するようなモデルに強化学習を適用しようとしていました。彼は、それは行き詰まりだったと述べています。間違う可能性が多すぎて、混沌としすぎていました。
しかし、その後私たちは大規模言語モデルを開発し、それらは一種の一般的な知能、一般的な推論能力を持っているように見えます。そして今、アルファ碁やその他のアルファシリーズのような強化学習のやり方と、これらの大規模言語モデルが、テクノロジーの木の2つの別々の枝のように見えますが、今それらが合流しようとしています。
これが、私が考える次の本当に大きなことであり、それが新しい強力なパラダイムです。だからこそDeepSeekは、彼らがそれを理解していることを示しました。DeepSeek R1モデルは、人間のデータへの依存を減らし、モデル自身に問題の解決方法を見つけさせることで、この種の強化学習においてやや先を行っているのです。
覚えておいてください。私たちが話してきたこのアイデア、多くの他の人々がコードを書き、私はDarioがここで言っているように、私たちは本当に大きなブレークスルーを起こそうとしていると思います。残りはまだ読んでいませんが、彼はおそらくDeepSeekがその分野でかなりの優位性を持っているか、少なくともアメリカの閉鎖的なモデルの最高峰に追いついていることを懸念しているのだと推測できます。
彼は、私たちが先ほど説明した3つのダイナミクスが、DeepSeekの最近のリリースを理解するのに役立つと述べています。約1ヶ月前、DeepSeekはDeepSeek V3というモデルをリリースしました。これは純粋な事前学習モデルで、私たちはそれをカバーしました。R1モデルの蒸留を使用し、高度な数学タスクなどの推論が非常に得意になりました。
先週、彼らはR1をリリースしました。彼は、DeepSeek V3が実際の革新であり、1ヶ月前に人々の注目を集めるべきだったと述べています。私はこの発言に少し驚いています。このモデルは、最先端の米国モデルの性能に近く、キーバリューキャッシュなど、工学的効率に焦点を当てたいくつかの本当に印象的な革新がありました。
また、エキスパートの混合を前進させることができる方法も可能にしました。エキスパートの混合とは、これが1つの巨大な固まりのモデルではなく、より小さなモデルに分割されているということです。つまり、エキスパートの集合体のようなものです。質問に応じて、正しい回答を出すために適切なエキスパートが前面に出てきます。つまり、すべての質問に対して、モデル全体を一度に稼働させているわけではありません。
彼らはエキスパートの混合を扱う効率性においてブレークスルーを達成したようです。彼は、DeepSeekは米国企業が数十億ドルかけることを600万ドルでは実現できないと述べています。例えば、Claude 3.5 Sonnetは、トレーニングに数千万ドルかかる中規模のモデルです。
彼は正確な数字は示していませんが、2000万ドルかそれ以上かもしれません。数千万ドルということは、2000万から3000万ドルくらいでしょうか。また、Claude 3.5 Sonnetは、より大きなまたはより高価なモデルを含む方法ではトレーニングされていないと述べています。
これには少し驚きました。彼は、他のモデルからの蒸留や知識蒸留を行っていないと述べています。Sonnetのトレーニングは9〜12ヶ月前に行われ、DeepSeekのモデルは11月から12月にトレーニングされました。つまり最近のことです。Sonnetは多くの内部および外部評価において依然として顕著に優れています。
ここで彼が行っているDeepSeek V3の品質に関する重要な声明があります。DeepSeekは7〜10ヶ月前の米国モデルの性能に近いモデルを、かなり低いコストで生産しましたが、人々が示唆したような比率ではありません。これは実際に良い指摘です。
これらのモデルの多くがトレーニングされてから時間が経っていることを考慮に入れる必要があります。今、それらと同じくらい良いものを出すということは、それを考慮に入れなければなりません。何かが10〜12ヶ月後であれば、そう考えると、それほど印象的ではないのです。
例えば、Claude 3.5 Sonnetのトレーニングコストが2500万ドルだったとしましょう。彼は「数千万ドル」と言っているので、2500万ドルという数字を出してみましょう。それはDeepSeekが4分の1のコストで行ったことを意味しますが、7〜10ヶ月後のことです。そのレンズを通して考えると、それは確かに良いですが、驚くべきことではありません。
彼は続けて、これはDeepSeek V3が独自のブレークスルーではなく、LLMの経済性を根本的に変えるものでもないと述べています。これは、この進行中のコスト削減カーブ上の予想されたポイントに過ぎません。唯一異なるのは、このカーブ上の新しいポイントが中国企業によって作られたことで、これは前例がなく、地政学的に重要だということです。
彼は続けて、DeepSeekは実際に50,000個のHopper世代チップを持っているという噂が報告されており、これは主要な米国AI企業が持っているものの2〜3倍だと述べています。例えば、xAIのColossusクラスターの2〜3倍少ないということです。
DeepSeekにとって、その数のチップは約10億ドルのコストになるでしょう。DeepSeekの企業としての総支出は、米国の研究所とそれほど変わらないということです。
そこでR1に話を移します。これが先週リリースされた大きなモデルで、公の注目を集めたものです。NVIDIAは一日で時価総額が5000億ドル下落しました。
彼は、これはV3よりもイノベーションや工学的な観点からはるかに興味深くないと述べています。これにも少し驚きました。彼は、これは第二段階のトレーニング、つまり強化学習を追加し、基本的にOpenAIがO1で行ったことを複製したものだと述べています。彼らは同様のスケールで、同様の結果を持っているように見えます。
しかし、私たちはスケーリングカーブの初期にいるため、強力な事前学習モデルから始める限り、この種のモデルを複数の企業が生産することが可能です。V3を持っていれば、R1を生産することは非常に安価だったでしょう。
これは非常に興味深いです。彼は、彼らはV3を使用し、その蒸留プロセス、その合成データを使用してR1を生産したと述べています。この分野に詳しい人々に、実際に助けを求めたいと思います。答えがわかれば、コメントに投稿してください。その中のどこかにV3という言葉を入れてください。
これはV3の技術報告書です。トレーニング後について話す時、彼らは監督付き微調整、推論データについて話しています。彼らは、数学、コード完成問題、ロジックパズルに焦点を当てた推論関連データセットを含め、内部DeepSeek R1モデルを活用してデータを生成したと述べています。
ここに矛盾があるでしょうか？私の疑問は、一つはDeepSeekが正直ではないか、あるいはDarioがその詳細を見落としているのか、彼らがそうしたと仮定しているが、実際にはそうではないのか、あるいはもしかしたらV3が作られ、それを使ってR1を作り、その後R1を使ってV3を微調整した可能性があるのでしょうか？これは可能性としてありますか？なぜなら、これら二つのことは一致していないように見えます。
誰か洞察があれば、コメントで教えてください。Twitterにも投稿します。
Darioは続けて、私たちは興味深い転換点にいると述べています。複数の企業が良い推論モデルを生産できる状況です。これは、すべての企業がこれらのモデルのスケーリングカーブをさらに上に進むにつれて、急速に真実ではなくなるでしょう。
次に、彼は輸出規制について話します。これは彼が強調しようとしている主要なポイントの一つだと思います。企業がより強力なAIモデルのトレーニングにますます多くを費やす継続的なトレンドがあります。カーブは定期的にシフトし、特定レベルのモデル知能のトレーニングコストは急速に低下しています。
もしカーブがあれば、より多く費やすほど、より良い結果が得られます。より多くの計算能力を投入すれば、より良い結果が得られます。このお金は、ベンチマークでのパーセント精度のようなものです。カーブはシフトすることができ、基本的に同じコストでより良い結果が得られます。
私はそれを正しく描写しましたか？コメントで私が間違っていたら、きっと皆さんが指摘してくれると思います。ポイントは、右側では同じ金額単位でより多くの精度、より多くの知能が得られるということです。
これは、多くの人々がNVIDIAは衰退すると考える理由です。同じ需要を持たないでしょう。なぜなら、人々はそれほど多くのチップを必要としないからです。しかし、もし私がDarioの言っていることを正しく理解しているなら、私たちは依然としてこのカーブを上昇し続けるということです。
以前は、より良い結果を得るためにより多く費やし続けていました。今、カーブは右にシフトしましたが、何も変わりません。私たちは依然としてより良い結果を得るためにカーブを上昇し続けるでしょう。
彼は続けて、よりインテリジェントなモデルをトレーニングすることの経済的価値は非常に大きいため、コスト削減はほぼ即座に食い尽くされ、元々計画していた同じ巨額のコストで、さらにスマートなモデルを作ることに費やされると述べています。
DeepSeekが開発したどんなイノベーションも、米国と中国の研究所に適用され、数十億ドルのモデルをトレーニングするために使用されるでしょう。以前から計画していた数十億ドルのモデルです。彼らは依然としてその数十億ドルを費やすでしょう。
言い換えれば、もしあなたの予算が100億ドルで、突然その100億ドルでよりスマートなモデルが得られるようになったとしても、あなたは依然として100億ドルを費やし、そのよりスマートなモデルを手に入れるでしょう。企業としては、そのための資金があるかないかのどちらかです。
なぜお金を節約して、可能な限り最高のモデルを手に入れないのでしょうか？どんな目的のために？彼らはこのレベルの知能を目指し、それ以上は求めないというわけではありません。彼らは持っているリソースの量で可能な限り最高のものを作ろうとしています。
その数は上昇し続けるでしょう。ほとんどすべての人間がほとんどすべてのことにおいてよりスマートなAIに到達するまで。ちなみに、彼はその日付を示しています。それは2026年から2027年に起こる可能性が高いと述べています。
一部の人々はこれに強く反対しています。この記事についての辛辣な意見を持つ人がいます。もちろん、その人が誰かわかりますね。それがどこに向かうかわかっています。それはGary Marcusです。
彼が指摘する一つのポイントは、それらの日付は作り上げられた日付だということです。彼はDarioに10万ドルの賭けを提案しています。2027年末までに、ほとんどすべての人間よりスマートなAIは存在しないだろうという賭けです。
しかし、Darioのポイントは、DeepSeekは予想されるコスト削減カーブを劇的に変えなかったということです。したがって、彼の推定、彼の予測するこれらの日付は変わりません。なぜなら、それらは計算に織り込まれているからです。
これは私たちを新しいタイムラインに突入させたわけではありません。つまり、それらの年には、私たちは2つの全く異なる世界のどちらかに行き着くことになります。
米国では、複数の企業が確実に必要な数百万個のチップを持つことになり、そのコストは数百億ドルになります。問題は、中国もそれを持つかどうかです。もし彼らがそれらのチップを持つなら、私たちは二極化した世界に住むことになります。
米国と中国の両方が、科学技術の非常に急速な進歩をもたらす強力なモデルを持つことになります。彼が「データセンターにいる天才の国」と呼ぶものです。つまり、科学を前進させる人間の研究者の代わりに、24時間年中無休で科学的進歩を推進するニューラルネット、AIを備えたデータセンターがあるような完全な天才の国を想像してください。
二極化した世界は必ずしも永遠にバランスが取れているわけではありません。米国と中国がAIシステムで同等であったとしても、中国がより多くの才能、より多くの資本、そしてこの技術の軍事応用により多くの焦点を当てることができる可能性が高いと思われます。
もちろん、このチャンネルを聞いている人々は世界中から来ています。驚くほどグローバルです。現在、GoogleのYouTubeはAIの自動吹き替えを行っています。このチャンネルを様々な声、様々な言語で聞くことができるようです。
私はまだ、このAI吹き替えシステムを使って人々を混乱させる面白い方法を考えています。しかし、それは本題とは関係ありません。ポイントは、あなたが世界のどこにいるかによって、その声明についてどう感じるかが大きく異なるだろうということです。
彼は、米国中心の見方をしています。米国が良い人で、中国が悪い人だと言っているわけです。誰もがそれに同意するわけではありません。しかし、この国、米国のテクノロジーAIのリーダーシップの多くは、政治的リーダーシップとともに、この技術が民主主義国家でホストされることを望んでいると述べています。
少なくとも、この技術にはいくつかのチェックアンドバランスがあります。もし究極の力を持つ少数の人々がそれをコントロールするだけなら、それは確かに怖いことになり得ます。
私は以前から言っていますが、誰かがスーパーインテリジェントAIを開発し、それを振るう人が暴君である場合、それは私たちが見る最後の暴君になるかもしれません。つまり、彼らは不死を開発するかもしれず、彼らを打倒する方法がないかもしれません。
不死でなくても、少なくとも不死の体制や、決して打倒されたり覆されたりすることのないイデオロギーを確立できるかもしれません。これは起こるとは言っていません。まだSFのような話ですが、潜在的に現実的なシナリオとして見ることができます。米国や中国について話しているのではなく、それが怖い潜在的なタイムラインだということです。
彼は続けて、大規模な産業基盤と軍事戦略的優位性を組み合わせることで、AIだけでなくあらゆる面で中国が世界的な主導権を握るのを助ける可能性があると述べています。
もし中国が数百万個のチップを手に入れることができなければ、少なくとも一時的に、米国とその同盟国だけがこれらのモデルを持つ単極世界に住むことになります。それがどれくらい続くかはわかりません。しかし、その可能性はあります。
AIシステムは最終的により賢いAIシステムを作るのを助けることができるので、一時的なリードは持続的な優位性に変わる可能性があります。私は以前からこの言葉を使っています。「全てのビー玉をかけて遊んでいる」というように。
これは、ただの一つのゲームをプレイし、また別のゲームをプレイし、さらに別のゲームをプレイするというわけではありません。これは、この技術が世界にどのように出ていくか、誰がそれをコントロールするか、それがどのように活用されるかによって、本当に永久的な影響を持つ可能性があります。
良い状況は永久に、あるいは長期間にわたってロックインされる可能性があります。そして悪い状況も同様です。彼は続けて、適切に実施された輸出規制は、中国が数百万個のチップを入手するのを防ぐことができる唯一のものであり、したがって私たちが単極世界になるか二極世界になるかを決定する最も重要な要因であると述べています。
私たちは、中国が持つべきではない多くのチップを入手していることは明らかですが、100億ドルや少なくとも100億ドルの活動を隠すのは難しいでしょう。DeepSeekが利用できると言われる1billion（10億）ドルの計算クラスターを隠すことはできますが、100億ドルや10億ドルを隠すのは難しいでしょう。100万個のチップを密輸するのも物理的に困難かもしれません。
DeepSeekはこれらのチップの混合を持っています。Semi Analysisが彼らが持っているものを説明する記事を投稿したようです。Semi Analysisの人物の一人であるDylan Patelは、「50,000個のH100を持っているというあなたの情報源は何ですか？」と尋ねました。
彼は「Hopperと言いました。H100だとは言っていません。私のクライアントの幹部の何人かがそれをH100と誤解しましたが、それにはH20とH800も含まれています。H100は輸出規制の下で禁止されているので、DeepSeekが持っているとすれば、それらは密輸されたものでなければなりません」と述べています。
Darioは、彼らが持っているチップの大部分は現在禁止されていないと述べていますが、それらも禁止されるべきだと言っています。これはまた、輸出規制が実際に機能し、適応していることを示しています。
彼はまた、DeepSeek自体を敵とは見ていないと明確にしています。彼らを特に標的にする意味はないと述べています。彼らのインタビューでは、彼らは有用な技術を作りたいと願う賢く好奇心旺盛な研究者のように見えます。
しかし、彼らは人権侵害を犯し、世界的な舞台で攻撃的な行動をとってきた権威主義的な政府に縛られています。そして、もし彼らがAIで米国に追いつくことができれば、これらの行動はさらに制約を受けなくなるでしょう。
これについてどう思うか教えてください。Dario Amadeiは、中国がチップへのアクセスをどの程度持つか、どれだけ早く高度なAIモデルを開発できるかについて、注意深くあるべきだと述べています。
なぜなら、わずか数年で2つの道があり、一つは潜在的に恐ろしい道で、もう一つは米国とその同盟国が持続可能な優位性を持ち、これらの強力なAIモデルを民主主義国家の中に保持できる可能性がある道だからです。
多くの内容がありましたが、あなたの意見を聞かせてください。ここまで見てくださってありがとうございます。私の名前はoffで、また次回お会いしましょう。
コメント