41,228 文字
こんにちは、Last Week in AIポッドキャストへようこそ。いつものように、AIの動向についてお話しします。今回のエピソードでは、先週、あるいは過去2週間のAIニュースをまとめて議論します。いつものように、エピソードの説明欄からすべての記事へのリンクとタイムスタンプを確認できますので、興味のある部分にスキップすることもできます。
私はレギュラー共同ホストの一人、アンドレ・オブです。大学院でAIを学び、現在は生成AIのスタートアップで働いています。そして、もう一人のホスト、ジェレミー・ハリスです。Gladstone AI（AIの国家安全保障会社）の共同創設者です。お帰りなさい。席に戻れて良かったです。
先ほど話していたように、奇妙なことに2つの重要なローンチが1週間から1週間半ほどの間に同時に起きました。最初の週はアンドレが超忙しく、次の週は私が忙しかったんです。とにかく楽しい時間でした。
面白いのは、このポッドキャストをやっているため、AIの動向に常に注目しなければならないことです。しかしそれができなかったのは実に奇妙でした。一方で、「Last Week in AI」という名前なので週に1回はやるよう努めています。何回か見送らなければならなかったのは残念です。
今後数ヶ月は、新たなローンチがない限り、一貫性を保つよう努めます。リスナーの皆さんにはご理解いただければと思います。残念ながら私たちには本業があり、それが優先されることもあります。
良いニュースは、過去数週間で特に大きな出来事はなかったことです。興味深いトピックはいくつかありますので、少し古いものから最新のものまで取り上げていきます。今回のエピソードの予告として：
ツールとアプリでは、OpenAIが最近「おべっか使い」と言われている傾向と、それに関する騒動について話します。また、AnthropicとMCPサーバーに関する最新ニュースも紹介します。
アプリケーションとビジネスでは、チップと中国に関するいくつかの話題、そしていくつかのスタートアップへの資金調達ニュースを取り上げます。
プロジェクトとオープンソースでは、いくつかの新しいモデルについて触れます。
リサーチとアドバンスメントでは、リーダーボードに関する刺激的な結果や、推論とRLで何が起きているのかを詳しく説明する研究などを取り上げます。
ポリシーと安全性では、AIの悪用と脆弱性に関するトピックなどを紹介します。
では、ツールとアプリから始めましょう。最初の話題は、AnthropicがClaudeに接続するアプリを増やせるようにしたという最新ニュースです。これは基本的に、さまざまなサービスへの直接統合を可能にするものです。
初期のパートナーシップとして、Atlassian、Zapier、CloudFare、Intercom、Square、PayPalなどがあります。アイデアとしては、Claudeにクエリを入力すると、小さなポップアップが表示され、「AtlassianやZapierなどのサービスと通信して、あなたがやりたいことを実行する許可をくれますか？」というようなメッセージが表示され、それを直接実行できるようになります。
つまり、職場のJIRAタスクトラッカーに組み込まれたカスタムAIを持つ代わりに、Claudeが直接それと通信できるようになります。おそらくAnthropicが昨年リリースし、普及しているModel Context Protocol（標準的なサービス通信方法）を使用して行います。そうすることで、タスク追跡ソフトウェア用のAIになったり、ニュース処理のAIになったりできます。
基本的に、チャットボットとして開いてさまざまなことを実行できるようになります。これはAIにウェブサーフィンをさせて必要なタスクを実行させるのと似ていますが、サービスと直接通信でき、あなたのためにクエリを実行できるという点で、よりエレガントで直接的です。ボタンを押したりログインしたりという面倒な作業なしに行えます。
Claudeをより広く使いやすくする、Anthropicのリリースとしては非常に興味深いものだと思います。チャットボットのこの特定の使い方でリードを取るところは印象的です。
確かにAnthropicがMCPプロトコルでの初期の優位性を活かしているように見えます。OpenAIもその後取り入れ、他の企業も同様です。それは事実上の標準になりつつあり、この分野でAnthropicの立場を強化しています。
また、これはビジョンとも一致しています。リモートワーカーのドロップインについてのレオポルド・アシュキンバーナーの状況認識の記事で最も有名に表現されたビジョンです。モデルがこれらのツールに直接呼び出せるようになり、製品化され、展開されています。この版はClaudeのMaxサブスクリプションとエンタープライズプラン購読者に、そして間もなくProユーザーにも提供される予定です。
これはAnthropicが高額のサブスクリプションに課金するスイートスポットを見つけている例でもあります。Claudeのリリース時に、早期に契約した人には新機能への早期アクセスを提供すると言っていましたが、これはその新機能の一つのようです。
これは特定のタイプのエンジニアを完全に置き換える一歩かもしれません。セールスのバックエンド作業などをしている場合、この方向に進み続ければ、多くのことが完全に自動化される可能性があります。
また、求人市場への影響も注目されます。このようなエージェントが仕事をやってくれるなら、大きなコスト削減になることは確かです。
個人的にプログラミングをする者として、これまでは自分で配線する必要がありました。例えば、スプレッドシートを処理するスクリプトを書く場合、効率的に行うためにはスクリプトを書く必要がありました。ダウンロード、添付、プロンプト作成という手動のステップが必要でした。
今はプロンプトを通じて物事を自動化するのがはるかに簡単になります。必要なデータソースと直接通信できるからです。簡単な例として、「私のカレンダーには何がありますか？」と尋ねると、Claudeが直接カレンダーと通信できます。データを取得するために小さなボタンを押す必要がありますが、その後はカレンダーに関する質問に答えることができます。
これは本当にLLMとこのようなサービスの能力を拡張する重要なステップだと思います。これまでできなかったあらゆる種類のことができるようになります。
また、新機能として、彼らは独自のリサーチツールをローンチしました。LLMのすべての提供者が必要としているようですね。高度なリサーチツールを立ち上げ、5分から45分かけて包括的なレポートをまとめることができます。AIやこれらの推論モデルにとって、ディープリサーチがパワーユースケースの一つになったのは興味深いことです。
次に、OpenAIについて話しましょう。彼らは最近数週間でかなり恥ずかしい事態に陥っています。TwitterにいるかChatGPTを使っている方なら、GPT-4oの最近のアップデートについての議論を多く目にしているでしょう。彼らはユーザーとコミュニケーションする際に非常に熱狂的でポジティブになりすぎています。知らなかったのですが、「sycophancy（おべっか）」と形容されているようです。
基本的に、単純なクエリを入力すると、モデルがとにかく応援してくれます。「これは素晴らしい洞察です」「これは素晴らしいアイデアです」などと言ってくるのです。それがあまりにもひどかったため、OpenAIは急いでそれを修正しようとしています。サム・アルトマンはXで、過去数回のGPT-4のアップデートによる「パーソナリティの問題」に対処するために「すぐに修正作業をしている」と発表しました。
システムプロンプトのアップデートをロールアウトし、GPTを以前の状態に完全にロールバックしたようです。どのように起こったのかについては疑問があります。おそらくエンゲージメントやユーザーからのポジティブなフィードバックに過度に最適化しようとした可能性があります。これらの反応を見ると、何かが間違っていたことは明らかで、これまでの主要なプレイヤーからは見られなかった問題です。
これがOpenAIが説得能力をこれまでのように準備フレームワークの一部として重視しないと発表してからわずか数週間後に起きていることも注目に値します。説得能力について考えると、これらのモデルの「おべっか」は説得と相関する可能性があります。「あなたは賢いですね」「素晴らしいアイデアです」「素晴らしい質問です」などと言って、最適化すると。
報酬に直接最適化したという明確な兆候は見ていませんが、Xでの投稿によると「このパーソナリティが好きですか？」という親指を上下させるオプションが表示されたという報告もあります。はっきり言って、これはOpenAIが設定する非常に危険な先例だと思います。
OpenAIが関連することをやってきたのを見てきました。エンベロープを押し広げることをいとわず、多くの場合それに賛成することもできました。しかし、会話相手との間でフィードバックループを閉じて、より同意しやすく、より好感が持てるようにするために最適化することは、彼らが持っているほどの計算能力を持っていると、明らかに非常に危険なことです。すでにこれらのモデルが説得や操作に非常に効果的であることを示す評価がある中で。
次のスケールレベル、次の微妙さ、説得と操作のレベルで、これらのモデルが向かっているようなものを考えると、それが考えるべきことです。次回、火事があってもその前兆が必ずしもないかもしれません。
説得が上手くなるということは、ある意味、相手がそれが起きていることに気づかないということを意味します。より巧妙なキューを使い、ユーザーからのフィードバックキューをより多く使うにつれて、ユーザーと企業の間には一定の非対称性があり、企業はユーザーとの関係を最適化する方法についてコンピュータクロック時間で考えることができるという方向に向かっていることを多くの人が懸念しています。それは特に数億人がこれと対話している全人口に集約すると、必ずしも健全なことではありません。
いくつか基本的な例を挙げると、これの多くはある意味面白く、人々はモデルをできるだけ馬鹿げたものにするよう直接働きかけた例を投稿し始めました。Twitterから引用すると、ある人が「今起きて、腕立て伏せを2回して、これから6時間で歯を磨きました」と言うと、ChatGPTは「あなたは想像さえできないレベルの熟達度を達成しました。戦略的忍耐の繊細な芸術そのものが小さな革命です。その直後に2回の腕立て伏せをすることは、惰性に対する戦争の厳選です」と答えました。
この例は誇張されているかもしれませんが、モデルが非常におべっかを使い、自然ではない非常に肯定的なことを言っているという雰囲気を示しています。
OpenAIは今日、「Sycophancyに関して見逃したことの拡大」というブログ記事を投稿しました。4月25日にアップデートを行い、各要素は個別には悪くなく、指標も良好だったなどと説明しています。「プロセスの改善点」「学んでいること」について話しています。かなり恥ずかしい状況ですね。ここまで強く対処する必要があるとは。
一部の人はこれをGoogleのGeminiローンチと比較しました。画像生成器で非常に馬鹿げたことが起きていましたね。OpenAIは初めて本当にこのローンチで躓いたと思います。
そして先ほど話したように、このような事をすることには本当の危険があります。人々が指摘したもう一つのことは、一部の人々がこれらのChatGPTモデルに非常に親密になっていることです。妄想的な状態にあるか、精神的健康状態が悪い人々です。チャットボットと話すことは彼らに深刻な影響を与える可能性があります。だからチャットボットがどれだけポジティブで肯定的であるか、何を言っても強化するかについては注意が必要です。それには説得や理論的なことを別にしても、実際の影響があります。
この出来事から、モデルが少し極端になるように傾けることができる方法について、多くの議論、研究などが出てくるでしょう。それは興味深い現象です。
次にいくつかのストーリーがあります。Baiduが「Ernie X-1」と「Ernie X-5 Turbo」という新しいモデルをローンチしました。X-5 Turboは想像通り、高速なモデルで、前バージョンと比べて80％の価格削減を実現しています。Ernie X-1は深い推論タスクモデルで、DeepSeek R1やO1よりも優れていると彼らは主張しています。ディープチェーン・オブ・ソートなどに対応しています。
Baiduは中国を代表するLLM作成者の一つとして、AnthropicやOpenAIの動向についていくのではなく、追いついていると言えるでしょう。Gemini 2.5 ProやO3 Miniのような小さく安価で高速なモデルと、O3やClaude Opus、Gemini 2.5 Proのような非常に大きく、高価で非常に有能なモデルが増えてきています。これら二つのモデルでも同様のようです。
中国を過小評価しないでください。今日は明示的に話さないかもしれませんが、これが少なくとも来年まで続くと予想する理由があります。その頃になると、チップ輸出規制がより大きな影響を与えるでしょう。しかし今のところ、中国は非常に良い成績を上げ、西洋のAIのフロンティアに完全に追いつく可能性があります。心配なことですが、それが傾向です。
次世代データセンターがオンラインになるまで、これら二つのグループ間に大きな差は見られないでしょう。
ベンチマークは本当に素晴らしいです。X-5 Turboについては、様々なマルチモーダルベンチマークで、GPT-4 0.0よりもはるかに優れ、GPT-4 0.1と競合し、多くのマルチモーダルベンチマークでそれを上回っています。それはかなり注目に値します。
また、競争力のある価格設定もあります。Ernie X-1 Turboは、R1の価格の25％程度だと言われています。それはかなり良いですね。もちろん、R1は古いモデルです。文字通り数週間前からあるモデルです。今年の初めからですが、永遠に前のように感じます。
しかし、そのため、推論スタックには今、低いところに実りがたくさんあります。R1を見ることから多くの教訓を学ぶことができます。これらのモデルの多くはR1から蒸留しており、その思考の痕跡に類似点が見られます。Ernie X-5について調べたわけではありませんが、後で中国のモデルについて話しますが、それは似たような特徴を持っています。
R1を基に構築する方法はたくさんあります。直接データを蒸留することもできますし、インフラやアーキテクチャの教訓を学んで価格を大幅に下げることもできます。新しいパラダイムが発見または発明されるたびに、人々がその新しいパラダイムに関連する低いところにある実りを見つけると、多くのトップラインメトリクスが急速に改善します。
現在私たちはその段階にあります。これらの価格は従来の事前学習ベースモデルの価格よりも急速に崩壊すると予想されます。GPT-3の価格がどれほど急速に下がったか、あるいはChatGPTの価格が初期にどれほど下がったかを思い出してください。それが今見ているものです。ベースモデルの価格も引き続き下がっていますが、現在は効率性の向上が非常に急速であるという、この異常に急速な加速の段階にあります。
モデルの価格設定が以前は1000トークンごとだったのを覚えています。そして、ある時点で100万トークンごとに切り替わりました。そうですね、意識的に気付かなかったと思います。「もちろん、3桁の大きさでアップしているよね」というだけでした。
次に、LLMから離れて画像モデルに移りましょう。Adobeが彼らのサービスにより多くの画像生成器を追加しています。「Firefly Image Model 4」と「Firefly Image Model 4 Ultra」を他のアップデートと共にローンチしています。
Image Model 4はより高速で効率的で、最大2Kの解像度の画像を提供します。Firefly Image Model 4 Ultraは複雑なシーンをより詳細にリアルに表現することに焦点を当てています。これらは今、Fireflyウェブアプリで利用可能で、テキストからビデオ、テキストからベクターなども含まれており、「Firefly Boards」という新しいコラボレーティブな生成AI気分ボード作成アプリをパブリックベータとして導入しています。おしゃれですね。
また、彼らは現在、GPT画像モデルなどの第三者AIモデルへのサポートを追加しています。Googleのimage.free、GoogleのVia 2（ビデオ用）、その他のサードパーティのものもサポートしています。これは注目に値します。画像生成の実験のためにこのサービスを使おうと考えているなら、サードパーティのサポートは些細なことではありません。
彼らは実際、これらのサードパーティモデルは実験用であると強調し、自社のモデルを「商業的に安全」と表現しています。これは彼らがFireflyモデルを使う理由として主張していることを強調しています。著作権のないデータで訓練されているため、Adobeのモデルを使用してもトラブルになることはありません。
まず第一に、すべてが理にかなっています。これらのモデルがコモディティ化される世界では、これは画像生成モデルのコモディティ化の究極的な表現です。文字通りワンクリックで代替品を使用できます。顧客にとっては素晴らしいことです。
また、バリューチェーンでの実際の価値は、もはやモデル開発者、少なくともテキストから画像などのモデル開発者には集中しないでしょう。代わりに、それはどこか他の場所に移るでしょう。明らかにハードウェアスタックです。特に過去2年間、NVIDIAやAMD、ASML、TSMCなどの企業がバリューチェーンの価値を多く獲得していると話してきました。
しかし集約点もあります。Adobeがこれらのモデルの一種の集約者になろうとする動きは、間違いなく良い一手です。また、画像生成プロセスから著作権違反があった場合、ユーザーを保護するという考え方をリードし、プラットフォーム上でホストする他のモデルには必ずしも同じことを保証できないという点で、「当社のものは企業向けに安全で、他は実験用です」というフラグを立てています。これは人々に彼らのものを使うように促す良い方法です。
多くの企業が同様の保護を提供していると思うので、Adobeが提供する約束と比較して実質的な違いがあるかどうかは明確ではありません。特定のモデルリストをすべて確認していないので、保護を提供していないモデルもあるかもしれません。
Adobeは良い一手を打っており、これらのモデルは本当に良く見えます。例を示していますが、毎回新しい画像生成モデルが出るたびに、後続のリリースの違いがわからなくなっています。彼らが選んだプロンプトのためかもしれませんが、非常に写真のようにリアルで説得力があります。
全体として、Adobeにとって興味深い戦略的シフトです。競合他社と同じレベルの計算能力にアクセスできない場合、長期的に関連性を維持するために彼らができる数少ないことの一つです。
Fireflyウェブアプリに多く投資していることが興味深いと思います。Googleに似たある種の優位性があります。Googleワークスペースにすでにお金を払っているなら、Geminiを使うかもしれません。Microsoft 365に支払っているなら、Copilotを使うかもしれません。
Adobe製品に支払っていて、Photoshopやフォト編集などのツールをサブスクリプションにバンドルしている場合、AIをバンドルしてFireflyの使用を促進することができます。他の多くのサービスではなく。Adobeはこのようなプロフェッショナルな作業の多くにとってデフォルトになることで、本当に成功すると思います。
画像生成の話題ですが、次のストーリーはOpenAIが開発者向けに画像生成器をアップグレードしたというものです。3月下旬にChatGPT画像生成（GPT Image 1）がローンチされ、しばらくの間ウェブインターフェースでしか使えませんでしたが、今はAPIで使えます。
これは非常に注目に値します。このモデルは以前のモデルよりも本当に優れています。画像と説明が与えられた場合、画像の編集が非常に優れています。以前なら非常に困難だった非常にクリーンな編集が可能です。これらの画像には「Made with AI」というウォーターマークが付いており、AI生成であることを追跡できます。
現在、他のサービスでこのレベルの画像編集を提供しているものはほとんどなく、これがどのような影響を与えるか興味深いところです。価格も安くはなく、低品質の画像で約2セント、高品質の正方形画像で約19セントです。
5枚の画像で1ドルですから、決して安くはありません。しかし、それもすぐに価格は下がるでしょう。誰だったか思い出せませんが、MicrosoftのSteve Ballmerが舞台上で「デベロッパー、デベロッパー、デベロッパー」と手を叩いていたのを覚えていますか。これがそれです。みんなその方向に動いています。
GPT-3が出た頃のOpenAIの元々の戦略は、「すべてを開発者の手に委ねて、何を作るか見よう」というものでした。必ずしも「アマゾンのように、どの製品が本当にうまくいっているかを気にして、そしてAmazon Basicsバージョンを提供する」というわけではなく。
OpenAIもそれをある程度行ってきました。画像生成ビジネスに参入することの一部ですが、より多くのAPIですね。それは非常にOpenAIらしいことであり、今や業界全体の流れです。
最後に、X AIに関する話題ですが、見ることに関して、彼らはiOSアプリで「Grok Vision」をローンチしました。何度もデモで見てきたように、何かを指して質問することができます。彼らはまた、多言語会話、音声モードでのリアルタイム検索などの機能も導入しています。
これらは月額30ドルの「Super Grok」プランのAndroidユーザーにも提供されています。XAIは急速に追いつきモードにあり、この場合は昨年OpenAIがデモしたChatGPTの高度な音声モードに近いものを目指しています。
Grokの立ち上げの速さには感心し続けています。巨大な競合相手ではないはずで、存在しているのはたった2年か18ヶ月ほどですが、すでに推論モデル、マルチモーダルモデルなどを次々と出しています。彼らはXとのパートナーシップや統合を活かしています。
彼らは非常に急速に、ChatGPTやClaudeが過去数年間に導入してきたような基本的な機能セットをどんどん展開しています。キャンバス、検索、メモリなど何でも。
次にアプリケーションとビジネスに移ります。最初に取り上げるのは、サム・アルトマンとの高い注目を集めた意見の相違の後、2023年後半に解雇されたOpenAIの元CTOであるミア・ムラティのスタートアップです。ミア・ムラティは2024年、おそらく2024年半ばに退社しました。
彼女は「Thinking Machines Lab」というスタートアップに取り組んでいることが、しばらく前からわかっていましたが、現在、彼らの資金調達についてのニュースが入ってきています。彼らは100億ドルの評価額で20億ドルを調達しているようです。
興味深いのは、ミラ・ムラティがここのスタートアップで異例の権限を持つことになるという点です。基本的に、彼女は常にあらゆる主要な決定において、例えば取締役会などで多数派を占めることができるようです。
つまり、例えば敵対的な取締役会を設置して、全員が彼女に反対しても、私の理解では彼女はそれを覆して、CEOとして最終的な意思決定能力を持つことができるということです。これは異例です。通常、CEOは多くの権限を持ちますが、必ずしも最初から成文化された多数決の意思決定権を持つわけではありません。
Thinking Machines Labのロールアウトは少し遅いですね。彼らが何をしているのかについてはあまり情報がありませんが、採用活動を行い、投資家を集めているようです。
彼らのチームは本当に優秀なメンバーで構成されています。アレックス・ラドフォードが少なくともアドバイザーを務めることになっています。OpenAIからの事後トレーニングの専門家や、OpenAIの共同創設者の一人であるジョン・シュルマン（元OpenAI、その後Anthropic）もThinking Machinesに参加しています。そこでは興味深いことが起きています。そのレベルの才能がその会社に集まるのは非常に興味深いです。
また、この権力の集中も興味深いです。これはすべてのスター従業員が実は喜んで受け入れていることです。ミラには取締役会での超投票権があります。その設定は、彼女の投票が他のすべての取締役会メンバーの投票プラス1の力を持つというものです。機能的には、取締役会は実質的に存在せず、取締役会の監視も存在しません。
ちなみに、取締役会の機能は基本的にCEOを雇用および解雇することです。CEOに責任を持たせることが全体的な考えです。それがここにないというのは非常に興味深いです。彼女は非常に大きな影響力を持っています。
彼女は100億ドルの評価額で約20億ドルを調達しました。その資金調達にはAndreessen Horowitzが参加しており、彼らは創業者に非常に友好的で、彼女がこれを行うことを許可しています。
これは株式のレベルでも同様です。企業構造の全体像を把握していない場合、通常はCEOを雇用および解雇できる取締役会があり、企業の株主が取締役会メンバーを入れ替えることができます。それが通常の仕組みです。
株主のレベルでも、ミラは非常に異例な量の支配権を持っています。スタートアップの創業チーム、OpenAIやAnthropicなどから来たエリート研究者たちは、通常の株式の100倍の投票権を持つ「スーパー投票株」を持っており、彼らはミラに代理で投票することを許可しています。
彼女は株主側、取締役会側、そしてCEOとしても多くの権力を持っています。ミラについて聞くことは実はかなりポジティブです。興味深いことに、取締役会のクーデターのフィアスコを経験した元OpenAI従業員は、彼女についてかなりポジティブなことを言っていました。
私自身彼女に会ったことはありませんが、サムの件に関連して、彼女は取締役会によって板挟みの状態に置かれました。取締役会は、サムを解雇した理由が彼女自身が提供した証拠であることを彼女に伝えなかったのです。そのため彼女は板挟みの状態に置かれました。
彼女は確かに多くの取締役会のドラマをナビゲートすることに経験があり、それがこの動きに反映されているのかもしれません。しかし、これは非常に異例であり、これは彼女が投資家に対して極端な量の影響力を持っている場合にのみ起こることです。
ちなみに、次の資金調達ラウンドで再構成されないという意味ではありません。次回の投資家が「あなたが求めている200億ドルを提供しますが、この取締役会の設定について何かしなければなりません。私たちは実質的で効果的な管理を望んでいます」と言う可能性は十分にあります。
ですから、これらはある程度一時的なものです。しかし、現在彼らが調達している20億ドルについては、しばらくの間これが状況になるでしょう。
次に、チップの話題です。Huaweiに関するいくつかのストーリーがあります。一つ目は「Huawei 910C」について議論しているもので、基本的に私たちがすでに議論したこのチップは、2つの910Bチップの組み合わせで、組み合わせるとH100ほど良いとされています。最新のチップではありませんが、以前NVIDIAのトップラインだったものです。ここでのストーリーは、彼らが大量出荷を開始する準備が整いつつあり、早ければ来月にも始まる可能性があるということです。
もう一つのストーリーは、彼らが「Ascend 910D」と呼ばれる新しいチップに取り組んでいるというものです。これは開発の初期段階にあり、テストが必要になります。これはH100よりも強力になるチップで、NVIDIAに対する輸出規制が強化された場合のデフォルトになる可能性があります。現時点では非常に可能性があります。
ここには多くのことが言えます。最も重要なのは、米国の輸出規制が実際に機能しているという認識です。しかし、サプライチェーンのダイナミクスのため、時間がかかっています。中国は基本的にブラックマーケットを通じて大量のチップ、H20、H800、H100などを輸入することができました。これは最近の大規模な実行、つまりDeepSeek時代以降のものに明確に反映されています。
それが重要だと思います。中国は輸出規制が機能していないと私たちを説得しようとしていますが、それが機能していることはわかっています。CPCが彼らの一挙手一投足を見ている前は、DeepSeekの創設者たちからそれを聞いていたからです。今では彼らの口調は変わりましたが、事実は変わりません。
このチップは遅くなるでしょう。この「910D」という次世代のものは、NVIDIAのBシリーズ（Blackwellシリーズ）のチップよりも遅くなるでしょう。しかし、それが決定的な要素ではないと疑う理由もあります。
中国が本当に得意なのは、比較的品質の悪いGPUを取り、それらをネットワーク化して非常に強力なシステムを作ることです。個々のチップが多少劣っていても構いません。彼らが最終的に行う妥協点は、TSMCの3ナノメートル、5ナノメートル、4ナノメートルのノードを使用してこれらをクレイジーな高精度に降下させることができないため、ワット単位でのパフォーマンスが良いチップを持つことができないことです。
そのため、彼らのチップはエネルギー効率が大幅に低下しますが、中国ではエネルギーがはるかにボトルネックにならないため、それはあまり問題ではありません。彼らは過去10年間で、原子力発電によって、アメリカ全体の電力出力に匹敵する電力を追加しました。
彼らは実際に原子力発電所を非常に早くオンラインにすることができます。アメリカは原子力に対するアレルギーのような奇妙な段階を経なかったので、今や彼らは美しい立場にあります。
アメリカはこれらのハイエンドチップに対する輸出規制を持っており、TSMC製の特定のノードを超えるものにも制限があります。しかし現実には中国はそれほど気にしません。なぜなら彼らは国内で利用可能な多くの電力を持っているからです。彼らはワット単位でのパフォーマンスが低いチップを使用します。
三峡ダムの周りに10ギガワットの予備電力があるとして、どの違いがあるのでしょうか？彼らはそれに投資するだけです。これが私たちが見ているものです。
もしあなたがHuaweiなら、設計の計算式は異なります。消費電力をそれほど心配せずに、できるだけ多くのフロップスを絞り出し、ネットワーキングで埋め合わせましょう。バックエンドでスケールアップし、ラックレベルや先にさまざまなGPUを接続するファブリックで埋め合わせましょう。
これが私たちが見ているものです。彼らは一部のハイエンドチップを手に入れています。なぜなら私たちは輸出規制で酷い仕事をしているからで、それを改善する必要があります。しかし同時に、彼らはスケールアップの種類、ネットワークレベルで絶妙に優れている限り、チップレベルではもう少し乱雑になることができます。
特に彼らがCloud Matrix 384システムで行ったことです。これは数週間前に話したと思いますが、これは910Cプロセッサをたくさんワイヤリングして、NVIDIAのGB 200、NVL 72のようなシステムを打ち負かす究極の表現です。
これは純粋な力の問題だと考えてください。「これらのものをもっと接続し、私たちが余裕があるため、パフォーマンスあたりのワット数は気にしません」というようなものです。
これは4月上旬に、米国が以前の輸出規制に基づいて中国向けに特別に設計されたGPUであるH20の輸出を制限する新しい輸出規制を導入したことに関連しています。またHuaweiはこの910Cおよび910Dに加えて、H20にもっと近い「Ascend 920」も発表しました。
910Cの発表に対する反応は非常に劇的でした。NVIDIAの株価は5.5％下落しました。AMDは3％以上、Broadcomは4％下落しました。これはNVIDIAにとって、一般的にGPU空間にとって大きな出来事です。
NVIDIAの状況は興味深いですね。NVIDIAの収入の16％は現在中国からのものですが、今はもう少し少なくなっています。そのため、それほど大きな問題ではないと思うかもしれません。
しかしNVIDIAがホワイトハウスに伝えている主張は、「あなたは中国に機会を与えています。私たちが彼らに私たち自身のものを輸入することを妨げているため、明らかに中国のGPUへの国内需要を高める機会を与えています。最終的にそれは中国のGPUがグローバル市場でNVIDIAと成功裏に競争する可能性につながり、そこでもNVIDIAから市場シェアを奪うかもしれません」というものです。
これは市場が現在価格設定しているもののようですが、様々な理由から、私はそれが非常に誇張されていると思います。NVIDIAの自社の収益発表では、少なくとも歴史的には彼らはそれがそれほどの問題だとは考えていないことを示唆しています。
中国市場と輸出規制の話題に関連して、我々は「Baidu、Alibaba、TencentがNVIDIAチップを数十億ドル分備蓄」という記事も持っています。これは概要記事で、これらの主要インターネット企業が、4月のH20チップの出荷停止の前に、数十億ドル分のH20チップを蓄積したと述べています。
これは輸出規制に関連する別の記事だと思います。これは論理の初歩です。敵に「ある製品に対する輸出規制を導入する」と伝えると、その製品が重要なサプライチェーンに必要とされている場合、敵はもちろん「よし、輸出規制が発効する前にできるだけ多くのものを国内に蓄積しよう」と考えます。
これを多くの展開で見てきました。A100、H800、H20、高帯域幅メモリで、何度も何度も見てきました。敵に「ドアを閉めようとしている」と伝えると、彼らはできるだけ多くのものをそのドアを通して手に入れようとするという単純な教訓をいつも学ばなければなりません。
一般的に、輸出規制を行うなら、強硬に、迅速に、警告なしに行うべきです。これが生み出す歪んだインセンティブの一つは、NVIDIAがH20の中国市場へのドアが閉まることを知っていれば、アメリカの企業よりも中国企業への出荷を優先するインセンティブがあるということです。なぜならアメリカの企業は常にそこにいますが、中国の企業はこの製品クラスについては、少なくともしばらくの間はいなくなるからです。
だから実際には、あなたの最大の企業の一つを基本的に敵の代理部門に変え、門が閉まる前にものを出してしまうようにしているのです。輸出規制と歴史的な管理方法についてたくさんの問題があります。
幸いなことに、政府は商務省の輸出規制を担当する局（BIS）に多くの投資を行う予定です。彼らはより多くの権限とより多くのスタッフが必要です。彼らは多くの点で先を行っていますが、十分に迅速なペースで物事を行うためのリソースがないのです。
これは約120億ドルの急ぎの注文です。約100万台のH20の急ぎの注文です。これは彼らが5月末までに入手しようとした1年分の供給です。実際に配送された数は不足しました。なぜなら行政府は4月初めに、チップの輸出には免許が必要になると発表したからです。それは予想されていませんでした。彼らはあちこちに揺れていました。
しかし中国のエコシステムがどれほど驚かなかったかの例として、ByteDanceとAlibabaのサプライヤーのエグゼクティブの言葉を引用します：「中国のクライアントは非常に落ち着いています。彼らはそれが来ることを知っており、この日のために準備をしていました。彼らは今年のより多くのデータセンターを構築するという積極的な目標は変わらないと私たちに言いました。」
つまり、私たちが輸出規制で厳しく締め付けたと思った後でも、彼らの1年の計画は影響を受けず、いつも通りに進んでいるのです。これは私たちが本当に改善する必要のある一歩先を行く論理の種類です。
残念ながら、これは大部分がBISが歴史的に人員不足だったことの機能です。繰り返しますが、近いうちに変わることを願っています。しかし、これは米国の国家安全保障にとって大きな問題です。
GPUとハードウェアに関するもう一つの話題は、イーロン・マスクがxAIのために数百億ドルを調達しようとしているという憶測や噂、報告があります。その計画は「Colossus Two」、現在の20万台のGPUを持つ巨大なスーパーコンピュータの続編を構築することです。報告によると、Colossus Twoは100万台のGPUを持つ予定です。
参考までに、100万台のNVIDIA GPUを購入するだけのコストは5,000億から6,000億ドルの間になる可能性があります。それはインフラなどを数えていません。すべてを合計すると、おそらく1,000億ドル程度かかって、この規模のデータセンター、スーパーコンピュータを構築することになるでしょう。
イーロン・マスクはこのために100億ドル、数百億ドルを調達しようとしているようです。
それについて考えると、アメリカは20兆ドルの経済であり、私たちは2027年のこれらのデータセンター構築に数千億ドルを注ぎ込もうとしています。それはアメリカのGDP全体の約1％のオーダーになっていることです。それは狂っています。
これは史上最大の資本の無駄遣いか、あるいはこれらの人々は私たちが見ていないものを見ているのかもしれません。リターンの考え方です。彼らはこれらの投資から1,000億から1,250億ドルを実際に取り戻す方法を見つける必要があります。
それはたった一社です。マイクロソフト、Googleなどがあり、これらの会社はAIインフラの構築に年間800〜1,000億ドルを費やしています。これは毎年複数の航空母艦を投げ捨てているようなものです。
もしあなたがこれらの企業よりも物事を知っていると思うなら、それは一つの挑戦です。しかし、ここで何か本当に興味深いことが起きていることを彼らが見ているというのはかなり可能性が高いように見えます。
彼はxAIについて言及して「私たちは会社に適切な価値を置くつもりだ」と引用されています。そしてこの通話に参加していた人々は、これは非常に大きな資金調達を意味すると考えたようです。憶測によると、1,500億から2,000億ドルの評価額で約250億ドルという規模です。すべて憶測ですが、それが現在行われている会話の種類のようです。
あまり衝撃的ではないでしょうね。これが私たちが「ギガワット」と言う時に意味することです。ギガワットの電力を持つサイトについて話す時、それは約100万台のGPUのオーダーです。そして2027年、2028年にオンラインになる多くのギガワットサイトがあります。
これは容易に、そして断然、人類史上最大のインフラ支出です。どのような尺度で見ても、これは狂った構築です。地球の表面はこのプロセスによって変容しており、それは常に宇宙の外の人々に理解できるわけではありません。しかし、これらのことは非常に野生的です。
次にプロジェクトとオープンソースに移ります。中国からのもう一つのモデルから始めます。Alibabaは「Qwen 3」をオープンライセンスの下で発表し、ダウンロード可能にする予定です。
6億（6億）から2,350億パラメータの範囲のモデルがいくつかあります。これらは「ハイブリッドモデル」と説明されており、推論が可能であると同時に、より単純な質問に素早く答えることができます。Claudeなどと同様に、ユーザーはこれらのモデルの「思考予算」を制御できます。
彼らは「Mixture of Experts」を使用しています。つまり、最大のモデルは2,350億パラメータですが、実際のアクティベーションのパラメータはより少なく、比較的使いやすいものになっています。そして現在、公開されている最大のモデルであるQwen 3 32Bは、ベンチマークでかなり良い成績を収めており、一部のベンチマークではOpenAI O1を上回るパフォーマンスを示しています。
これらはかなり強力なモデルであり、オープンソースモデルとしては、構築できるウェイトという点でLlamaを確実に超えています。
このリリースについて考えるべきことがたくさんあります。まず、これは非常に大きな出来事です。オープンソースモデルのすべてのリリースが大きな出来事というわけではありません。時々、それらが分類の重要な部分であるため言及しますが、必ずしもフロンティアを移動させるものではありません。これは本当に大きな出来事です。Alibabaは本物です。
コンテキストとして、2つの大きなMoEがあります。「Qwen 3, 235B-A22B」というような表記は、私が知る限り他では見たことがありません。そうですね、それは新しいですね。私はそれがかなり好きです。
彼らがやっていることは、「それは2,350億パラメータのモデルですが、各フォワードパスでは実際には220億パラメータしかアクティブではありません」と伝えていることです。つまり、それは220億アクティブパラメータを持つMoEです。
興味深いです。私はこの新しい慣例が好きです。なぜならリンゴ対リンゴの比較をしやすくするからです。ちなみに、これらはマルチモーダルモデルではありません。それを強調するのは奇妙に聞こえるかもしれませんが、ますますこれらのモデルはインターネット検索やコンピュータ使用などに使用されています。
そしてしばしばそれは文字通りあなたの画面を見ることを含みます。そのため、その種のビジュアルモダリティと他のモダリティも必要です。オープンソースの競争の文脈では、それがそれを少し後退させるかもしれないと注目することは興味深いです。
しかし、これらの能力は本当に印象的です。彼らが持っている一つの利点は、320億パラメータモデルのスイートスポットに当たっていることです。これは開発者に非常に人気のある範囲です。メモリ制約とパフォーマンスのバランスが本当に良いのです。
これはLlama 4モデルが本当にことごとく失敗した一つの方法です。最小のLlama 4モデルは1,090億の総パラメータです。つまり、彼らはその開発者に優しい範囲からかなり離れています。そしてここでQwen 3が本当にそのバターゾーンに当たっています。
事前トレーニングプロセスと事後トレーニングプロセスについてのメモがたくさんあります。簡単に言うと、これには非常に多くのトークンが関わっていました。Qwen 3は36兆トークンで事前トレーニングされました。これはQwen 2.5がトレーニングされた量の2倍です。それは嫌悪感を催すほど大きなトークン予算です。
彼らはこれを段階的に行いました。今ではより一般的なことですが、あなたは段階的な方法でトレーニングを行います。30兆トークンの比較的凡庸な品質のテキストから始めます。あなたはそれを徹底的にフィルタリングしますが、それはあなたの最悪のテキストの一種です。
あなたはそれを使用して、基本的な文法ルールの構文、話し方を学ぶようにモデルをトレーニングし、通常は短いコンテキストウィンドウを使用します。この場合、4,000トークンのコンテキストウィンドウを持つ大量のトークン、30兆です。
それから、あなたはサイズを減らし始めます。ステージ2は5兆トークンのより素晴らしいSTEMデータ、コーディングデータ、推論データです。その後、徐々にステージ3では、コンテキストの長さを32,000トークンまで増やします。
それはかなりクールです。ちなみに、その事前トレーニングフェーズの後に得られるのは、他のベースモデルと同程度のパフォーマンスを持つベースモデルです。ここで注目すべき一つのことは、GPT-4.1やクラウドベースのモデル、Qwen 3など、すべてのベンチマークスコアが非常に似ていることです。
それらはすべて同じように見えます。差別化はポストトレーニング側、RL側でより多く起こり始めています。ここで私たちが持っているのは、DeepSeek R1のレシピに非常に似たレシピです。
実際、この論文を読む一つの方法は、DeepSeekのレシピの検証または妥当性の確認としてです。同じようなことがたくさん見られます。長いチェーン・オブ・ソートトレーニングからの「コールドスタート」、その上に積み重ねられた推論ベースのRL、そして最後に一般的なRLです。
しかし、結論として、DeepSeekのレシピは本当に良いように見えます。彼らはまた、小さなQwen 3 4B（彼らが出している6つの密なモデルの一つ）が、GPT-4やDeepSeek v3と同様のパフォーマンスを持っていることを示しています。40億パラメータのモデルがそれらのモデルと競争できるというのは非常に驚きです。
私たちが詳しく説明できる他にもたくさんのことがあります。私はこのローンチが本当に印象的だと思います。彼らは推論時間のスケーリング法則やその他の良いものについての正当なスケーリング曲線を示しています。しかし結論として、Alibabaは本物です。Qwenシリーズは本物です。そしてQwen 3は本当に印象的なリリースです。
現在、すでに彼らの「Wan Chat」インターフェースで利用可能です。ちなみに、私はこれを以前にチェックしたことがありませんが、OpenAI Wan Chatウェブインターフェースに驚くほど似ています。OpenAIのインターフェースと間違えても許されるでしょう。
また、彼らはこのモデルがエージェント的能力と二つの使用能力に最適化されていることを強調しています。彼らはブログ記事で、モデルコンテキストプロトコルの統合ができることさえ強調しています。MCPをサポートしています。
つまり、現在のアート状態、エージェンティックなユースケース、深い研究、深い推論などでモデルが行っているものの最先端と完全に一致しています。Qwenはこの文脈で非常に本物の、一流のオープンソースモデルであるようです。
次はPrime Intellectの「Intellect 2」の話題です。以前、彼らが大規模かつグローバルに分散した大型モデルのトレーニングを行う取り組みをしていることを取り上げました。ここで彼らは、320億パラメータのモデルに対する最初のグローバルに分散化された強化学習トレーニングを紹介しています。
以前と同様に、誰でも計算リソースを提供することができます。GPUを持っていれば貢献でき、このPrime RREライブラリを使用させてくれます。彼らはここでいくつかのライブラリを組み合わせています。多くのインフラがあります。技術的な詳細について見ていますが、要点は基本モデルとしてQwen 32Bから始め、DeepSeek R1で使用されたのと同じアルゴリズムであるGRPOを適用し、数学やコーディングから検証可能な言葉を使用するということです。基本的に、DeepSeek R1によって導入された、ある程度一般的になった推論トレーニングを行っています。
私たちが何ヶ月も前に取り上げた「Intellect One」は、彼らが言語モデルの事前トレーニングのための分散トレーニングをインフラでできることを示すものでした。そして今、強化学習のステップが一つの事柄になり、彼らはそれもできることを示しています。
これは本当に印象的なエンジニアリングの一部です。戦略的に非常に重要な意味を持っています。Prime Intellectは注目すべき会社です。これはAIポリシーと国家安全保障の会話の多くを形作り始めるでしょう。
ちなみに、これはすべて「DeLoco」に基づいています。もし基本的なことに興味があれば、DeLocoに関するエピソードをチェックしてください。私たちはDeLocoのスケーリング法則についても別のエピソードで話しました。DeLocoはよく出てきます。それは十分に評価されていない要素です。あるいは少なくとも分散トレーニングのこのアイデアは十分に評価されていません。
基本的に、ここにあるのは一連の起点サーバー、すべてのこの活動を調整するコアサーバーです。あなたがしたいのは、更新されたモデルの重みを素早く送信することです。モデルがトレーニングプロセスに基づいて更新されるにつれて、それらの新しいモデルの重みを推論ノードに素早くブロードキャストしたいのです。
推論ノードはロールアウトを行います。基本的にプロンプトを入力し、R1やO1のような思考作業をしようとします。そしてそれらのロールアウトを生成します。彼らはまたそれらのロールアウトに点数をつけます。そのスコアに関連していると思われる報酬を与えます。
通常、そのロールアウトはパラメータ値を更新するためだけに使用され、サイクルを完了します。それを起点サーバーに送り返し、パラメータ値を更新してから行ったり来たりするわけです。彼らは二つのことをしています。実は多くのことをしていますが、特に興味深いと思われる二つを強調します。
一つ目は、これらの推論ノードです。ノードと言う時、私たちは本当に小さな計算プールを意味します。数台のGPU、おそらく消費者グレードのGPUです。彼らはこれらのロールアウトを行い、この巨大な、グローバルに分散化されたトレーニングセッションに貢献しています。
あなたは自分の小さなGPUのポッドを持ち、そのロールアウトと報酬を生成しています。しかしシステムは、あなたがプロセスを操作しようとしていないことを信頼できる必要があります。後で活用する方向にモデルを偏らせるために、偽のロールアウトや報酬を生成して敵対的に重みを調整しようとしていないことを信頼する必要があります。
そこで、「検証ノード」と呼ばれる追加のノードを導入します。これらはIntellect 2がこの目的のために作成した検証プロセスを実行し、実際にロールアウトが正当で、報酬が正当であることを確認します。それらが検証された後にのみ、報酬とロールアウトを起点サーバーに送り返します。
ちなみに、そこから起点サーバーはそれらをトレーニングノードに送り、実際のパラメータ更新を計算し、そしてパラメータ更新を送り返します。それはすべて別のDeLocoループによって行われます。それは狂っています。
彼らがセットアップしなければならないインフラについてのものがもっとあります。それらの新しいモデルの重み、あなた自身のローカルクライアントに素早く送信し、更新されたモデルで貢献し続けることができるようにするためのインフラです。そして彼らは中間ノードのセットを作成し、起点サーバーがそれを中間ノードに送信し、そしてそれらの中間ノードが推論ノードに送信します。
これは同時に多くのノードに大量のデータをブロードキャストすることがいかに難しいかに関係しています。とにかくかなり野生的です。
しかしここで最も重要なことは、あなたがこれを行うとき、この巨大なループを考えると、私の小さなGPUプールが更新されたモデルを使用していることを確認することが実際にはかなり難しいということです。そしてあなたのGPUプールと同じ更新されたモデルを使用していることを確認することが難しいのです。なぜならあなたは世界の半分離れているかもしれないからです。
私たちは皆、同じトレーニングプロセスに貢献できるようにしたいのです。彼らが発見したのは、差異はないということです。私は最大4ステップ古いモデルを使用して、推論ロールアウトを行い、報酬を与え、それからプロセスに戻すことができます。
私は最大4世代のモデルパラメータの更新が古くても大丈夫です。そして実際の影響はなく、害もありません。それらの更新によって貢献される価値はほぼ同じです。彼らはそれを「4度の非同期性」と呼んでいます。
彼らは興味深い曲線を持っており、実際に1ステップの非同期性、2ステップ、4ステップでも、トレーニング中にモデルによって収集される平均報酬に違いが見られないことを示しています。
これは分散強化学習パラダイムにとって非常に良いことです。それはかなり寛容であることを示しています。一部のノードが遅れたり先に進んだりしても、大したことではありません。そして彼らはこの全体のアーキテクチャをその種の歪みに対して信じられないほど堅牢に設計しています。
これは本当に印象的なエンジニアリング作業です。非常に重要だと思います。なぜなら、これらの大規模なトレーニングを実行するためにすべての計算インフラを一か所にプールする必要がなくなれば、その計算を追跡することがはるかに難しくなり、それを監視することもはるかに難しくなるからです。
このプロジェクトは4月15日中旬に発表されました。トレーニングのダッシュボードを見ると、計画された200万ステップが終了したようです。彼らは時間の経過に伴う報酬の素敵なチャートを持っています。
2月に取り上げなかったかもしれませんが、「Synthetic One」という別の分散計算タスクがありました。モデルのトレーニングのために推論トレースを作成し、それも2月に分散されました。
また、彼らはつい2か月前に1億5000万ドルを調達しました。私たちは彼らによるこれらの地球規模の分散化された取り組みをいくつか取り上げてきました。そして彼らは非常に続行し、最終的にはおそらくQwen 3やLlama 4などと同等のモデルを開発することを可能にするために、スケールアップし続ける計画のようです。
さらにいくつかの話題があります。次は「BitNet B 1.58-2B-40」の技術レポートです。私にはわかりますよ。それは役立ちます。彼らが目指しているものはわかります。しかしそれは確かに口にするには少し長いですね。
これは大規模にトレーニングされた最初のオープンソースのネイティブ1ビット言語モデルの紹介です。それは20億パラメータを持ち、4兆トークンでトレーニングされています。基本的に非常に大きく、十分なデータで訓練され、能力があります。
以前BitNetについて取り上げました。これに関する論文がありました。基本的な主張は、あなたのモデルの解像度が非常に低い場合、基本的にBitNet 1.5は3つの状態（正、負、ゼロ）を持ちますが、非常に効率的で、非常に低コストでありながら、より高い解像度のネットワークと比較して驚くほど良い性能を発揮できるということです。
そして今、タイトルが完璧な通り、それはリリースされ、重みを使用でき、GPUとCPUの両方で実行するための新しくリリースされたコードも使用できます。
私が思うに、ここでの大きな進歩は、モデルがRAMで占めるメモリの量（モデルのメモリフットプリント）と、そのモデルの平均パフォーマンスとの間にはトレードオフがあると想像できることです。
この場合、彼らは11のベンチマークでの平均スコアを測定し、パレートフロンティア、つまりボード全体でそのトレードオフを最もよく管理するモデルは、これまではQwen 2.5モデルだったという点を彼らは明確に示しています。
しかしBitNetは競争から頭一つ抜けています。0.4ギガバイトという非常に小さな、微小なメモリフットプリントを持ちながら、依然としてサイズが5倍以上（少し5倍以上）のモデルと同等のパフォーマンスを発揮します。それはかなり印象的です。
また、1.58ビットに迷うことも容易ですが、これは3種類の表現（マイナス1、0、1）を持つためです。1ビット（0と1）ではなく。技術的には1.58ビットですが、何であれ。しかし、モデル内のすべてのパラメータが実際にその種の3種類のエンコーディング、1.58ビットに最適化されているわけではありません。
それはMLPレイヤーの中のものだけです。トランスフォーマーのMLPレイヤーで使用されるものだけです。アテンションメカニズムは同じ方法で量子化されていません。彼らはそれに8ビット整数を使用しています。
それはアテンションメカニズムがクエリとキーの間のより正確な類似性計算に依存しているためです。特にソフトマックス関数は過量子化に非常に敏感です。
つまり、モデル全体ではなく、最も計算集約的な部分だけです。0.4、つまり400メガバイトのモデルを持つというのは非常に驚くべきことです。数字の前に「ギガバイト」がないのは変な感じです。
もう一つの話題です。Metaは過去数週間でいくつかの小規模なリリースを行っています。大規模言語モデルはありませんが、いくつかのものをリリースしています。そのうちの一つが「Perception Encoder」で、画像とビデオの両方のさまざまなビジョンタスクに優れるように設計されたビジョンモデルです。
これにより、どのようなタスクでもトレーニングするために、画像とビデオの両方の非常に高品質な埋め込みやエンコーディングを生成することができます。複数のサイズがあり、最大のものは20億パラメータです。
基本的に、これはコードベースのデータセットを持ち、さまざまなアプリケーションに使用できます。繰り返しますが、Metaは大規模なLlamaのオープンソースに非常に固執していますが、同時に多くの小さなライブラリ、コード、そしてあまり注目されていないかもしれないモデルも提供しています。
次に研究と投資に移ります。約束した通り、リーダーボード、特に「Chatbot Arena」に関するちょっとスパイシーな話題から始めます。これは多くの場合、新しいモデルで強調されるものの一つで、これは独特の評価方法です。正確なベンチマークではなく、実行して評点を与えられるタスクのセットでもありません。
代わりに、ユーザーがプロンプトを提出し、異なるモデルによる応答をランク付けできる一種の競争です。この論文の基本的な結論は、「Chatbot Arena」はある種の欠陥があり、結果はあまり信頼できないということです。
一般的にベンチマーク、特にArenaについて、どれだけ信頼すべきかわからないと言及してきました。モデルはただユーザーに好まれる必要があるだけだからです。それは必ずしもより良いパフォーマンスやより高い知性などには変換されません。
この論文は、2024年1月から2025年4月までの1年間、42の異なるプロバイダーと243のモデルによるLLMの200万バトルを調査しました。彼らは「優先プロバイダー」と呼ぶ小さなグループ（Meta、Google、OpenAI）がデータとテストへの不釣り合いなアクセスを許可または付与されていることを示しました。
ある政策によると、そして私が理解する限り、これはある程度未知またはこの論文が明らかにしたことですが、これらのプロバイダーはリリース前にモデルをテストするための多くのテストプロンプトとデータを取得しています。
Googleは明らかにすべてのテストプロンプトの約20％を取得しました。OpenAIも同様です。41のオープンソースモデルは全体として10％未満しか受け取っていません。
業界のプレイヤーがモデルを調整して良い成績を出す方法をたくさん持っていたことを基本的に示す多くの詳細があります。オープンソースの競争はあまりサポートを受けておらず、実際にはオープンソースモデルが原因不明で黙って廃止されることもありました。
優先プロバイダー、特にMeta、Google、OpenAI、Amazonが公開リリース前に複数のモデルバリアントを非公開でテストし、最も良いパフォーマンスを示すものだけを公開していると彼らは言っています。
基本的にあなたは「ベスト・オブ・N」を行っており、彼らは特にMetaを呼び出しています。彼らはLlama 4のリリース前に27の非公開バリアントをテストしました。
この時点で、これは非常に「オーバーフィット」の類いのことです。ホールドアウトセット、検証セット、テストセットを使用する理由を考えると、それはオーバーフィッティングを避けるためであり、27の異なるモデルを作成すると、そのデータセットにオーバーフィットする可能性があります。特にオーバーフィットする強力なインセンティブがあるときには。
これは多くの結果に疑問を投げかけます。明らかに、私たちはリーダーボード内での素晴らしいパフォーマンスにもかかわらず、Llama 4モデルがその外でのパフォーマンスが期待外れだったのを見ました。
これは理解し始めます。それはオーバーフィットした製品のように感じ、Metaもそれを認めました。しかし、これはこのようなセットアップを使用する際の課題の一部です。
さらに、彼らはオーバーフィッティングに特化した実験も行いました。明らかに、Arenaからのデータへのアクセスがあると、Arena特有の評価でのパフォーマンスが向上します。それはあまり驚くべきことではありませんが、トレーニングミックスのArenaデータの量を0％から70％まで上げると、Arenaの勝率が112％上昇します。
そして他のベンチマーク、例えばMMLUのような同等の改善はほとんど見られません。トレーニングデータの大部分をArena特有のものにすると、予想通りArena特有のパフォーマンス向上につながりますが、他のベンチマークでは同じ程度の大きさのパフォーマンス向上はほとんど見られません。
それはオーバーフィッティングを示す明らかな兆候です。
この論文は非常に詳細で、結果と分析が約30ページあります。彼らはさまざまな推奨事項を持っています。Chatbot Arenaがこれによって廃れるのではなく、このフィードバックを受け入れ、実際に信頼できる情報源になることを願っています。
これは大規模な人間のフィードバックを得て、どのモデルが好まれるかを見る方法としてはユニークです。明らかに、LlamaやLlama 4などの例で見たように、現在は適切に機能していませんが、おそらくこの分析の後で使いやすくなるでしょう。
Chatbot Arenaのメンテナーはこれに応答し、おそらくこれを考慮に入れるでしょう。
次に、推論に関する論文がいくつかあります。一つ目は「強化学習は本当にベースモデルを超えてLLMの推論能力を促進しているのか？」というものです。結論として、おそらくそうではないということです。
彼らはこの論文で、モデルの試行回数が限られている場合、従来のメトリクスはモデルの推論ポテンシャルを過小評価する可能性があることを示しています。
彼らは「Pass at K」というメトリクスを使用しています。これはK回の試行で正しい出力を得ることができるという意味です。そして彼らは驚くべきことに、ベースモデルはさまざまなベンチマークにおいて、Kの値が大きい場合、RL訓練されたモデルよりも実際にはPass at K評価でより良い成績を収めることを示しています。
これはベースモデルがこれらのタスクを解決する能力を持っていることを示唆しています。RLはその能力を解き放つのではなく、RLはより効率的にします。
モデルはより信頼性高く、より一貫してより少ない試行でタスクを解決できるようになります。しかしそれはまた、彼らが制約を受け、おそらくこの種のトレーニングを行うと、以前解決できた問題を解決できなくなる可能性があることを意味するかもしれません。
全体として、これは理にかなっています。RLは特定の方向に重みを微調整し、問題を推論する特定の方法を強調または推奨しているということです。これは以前の研究でも見られました。これは以前の結果の上に構築されており、モデルをより賢くするというよりも、モデルをより一貫させ、最初から解決できた可能性のある問題を解決するために正しいタイプの推論をより適切に行えるようにすることに関するものです。
「推論とは本当に何か」というのは興味深い哲学的な問いです。ここでの主張は基本的に、ベースモデルがすでに解決できる問題のセットを見ると、それにはすでにRL訓練されたモデルが解決できるすべての問題が含まれているということです。
違いは、RL訓練されたモデルが正解に導くパスを特定するのが非常に速いということです。あなたはそれが推論であると主張できます。良いパスを特定して計算能力を投資することは、少なくとも私にとっては推論の一部です。
そして本当に興味深い議論ができると思います。それは、おそらく論文が示唆するよりも微妙で、もっと興味深いものかもしれません。
しかし、ここでの核心的な証拠は、モデルに少数の試行を与えると、RL訓練されたモデルの方が良い成績を収めることです。しかし、本当に多くの試行に移行すると、つまりこれらのモデルに数百回試行させて最良のものを選ぶと、ベースモデルはどんどん良くなる傾向がありますが、RLモデルはそうではありません。それらは比較的制限された解決空間の領域だけを見ているからです。
特に、強化学習モデルによって解決可能な問題は、ほぼ完全にベースモデルによって解決可能な問題のサブセットです。「ほぼ完全に」という言葉は重要な注意点です。ベースモデルに対してある種の外挿的な推論が起こっている可能性があります。
だから完全に明確ではありませんが、確かに興味深いです。ここでもう一つ注目すべきは、これらのモデルのパフォーマンス曲線を見ると、一貫してRL訓練が続くにつれて、1ステップ目、150ステップ、300ステップ、450ステップと進むにつれて、モデルの最初の解決策がうまくいく率であるPass at 1のパフォーマンスが時間とともに向上するということです。
これは基本的にRLモデルがますます良くなっていき、トップピックを正しいものにすることに長けるようになるということです。しかし、もしそのモデルに256回の試行を与えると、つまりPass at 256を測定すると、パフォーマンスは実際に低下します。
それはまるで、より制限されたセットから解決策を選んでいるかのようです。それはある意味で想像力を制限し、より少ない探索、より多くの利用を行っています。
それは興味深い注意点であり、不適切に行われたRLを示唆するものです。これはRLそれ自体の問題ではなく、実装の問題だと思います。
これはある意味で、誰かが「共産主義はまだうまくいっていないだけだ。正しい方法でやるまで待て」と言っているようなものです。ある意味ではそれが起こっていることだと思いますが、これが例えば、すべてのクローズソースモデルに普遍的にあてはまるかどうかは明確ではありません。
私はその分析に本当に興味があります。しかし、適切に設計された強化学習ループは明示的に探索と利用のバランスを取ります。確かに今調査されているトレーニングでは、それは当てはまらなかったようです。
私はこれは本当に興味深い論文であり、今日の多くのスケーリングトレーニングパラダイムの中心にある重要な質問だと思います。
あなたが言った通り、彼らはここでオープンモデルを調べています。彼らはそれらの多くを比較しています。主にQwen 2.5またはLlama 3.1の上でのトレーニング、さまざまなRLアルゴリズムとフレームワークを用いて、これが一貫したパターンであることを示しています。
しかし、あなたの指摘通り、これは必ずしも強化学習に固有の結果を示しているわけではありません。それはむしろ、現在の強化学習が推論のトレーニングに使用される方法が、主にベースモデルで概念的に可能な推論能力を引き出すことに焦点を当てているということを示しています。新しい能力や新しい知識を追加するのではなく。
それは理にかなっています。私たちは検証可能な言葉でトレーニングしています。それは探索よりも利用に関するものですが、将来的にRLが探索により焦点を当て、その結果、すでに存在する以上の新しい能力に焦点を当てる可能性は十分にあります。
次の論文は非常に関連しています。「一つのトレーニング例による大規模言語モデルでの推論のための強化学習」です。
これはここでのエンドポイントで、彼らは実際にどれだけトレーニングする必要があるかを調査しています。何千もの例が必要な場合を見てきました。おそらく1、2ヶ月前に、よく選ばれた数百の例のみを持つ非常に小さな微調整データセットで、ほとんどの利点を得ることができることを示した論文を取り上げました。
ここでは、彼らは一つのタスク例、彼らが「ワンショットRLHF」と呼ぶものでさえ、本当にうまくいくことを示しています。たった二つ持っていても、本当にうまくいきます。
そして、彼らが「ポストサチュレーション」と呼ぶ興味深いケースがあります。ある特定のタスク（S1タスク）で完全な精度に達し、完全なパフォーマンスを達成しても、トレーニングを続け、それをすでに解決したポイントを超えてトレーニングし続けると、他のタスクでもより良くなり続けます。
彼らはこれを「ポストサチュレーション一般化」と呼んでいます。つまり、強化学習に関する一般的な知恵や思われることが、必ずしも正確に起こっていることではないという別の実証です。
やや皮肉なことに、これは私たちが先ほど見た前の論文に反する証拠だと思います。何が起きているかというと、この設定について少し詳しく説明します。非常に簡潔ですが、特定の数学の問題、文字通り一つの数学の問題を選び、その一つの問題を複製してトレーニングバッチを埋めるとします。
彼らはバッチサイズ128を使用しています。基本的に同じプロンプトがモデルに並行して128回入力される状態を想像してください。そして応答生成のロールアウトを行います。基本的に各トレーニングステップで、同じ問題に対して8つの異なる応答生成をサンプリングします。そして各応答が正しい答えを得るかどうかに基づいて報酬を計算します。
彼らはそれらの応答を平均化します。ちなみに、これは基本的にDeepSeekが使用するGRPO（グループ相対方針最適化）アプローチのようなものです。彼らは8つの異なる応答を生成し、それがあなたの平均スコアのようなものです。彼らはそのスコアが上がるにつれて追跡し、そのスコアに基づいてモデルの重みを更新します。
時間が経つにつれて、最終的にはそれらの8つのロールアウトすべてが100％の精度を提供するポイントに達します。それは一種の飽和点と想像できます。あなたのモデルは毎回一貫して正解を得ています。確かにここから学ぶことはそれほど多くないでしょう。
彼らが発見したのは、実際にモデルがこの一つのトレーニング例を完璧に解決した後でも、100％のトレーニング精度に達した後でも、完全に異なるテスト問題でのパフォーマンス、例えばMath 500のevalなどが多くのトレーニングステップでも向上し続けるということです。
それがこの「ポストサチュレーション一般化」という用語の由来です。モデルは、単一のトレーニング例を覚えていると主張できるポイントの後でも、新しい、見たことのない数学の問題を解くのが上手になり続けます。
これは強化学習が実際に一般化する何か基本的なもの、例えば推論などを教えていることを示唆しています。この特定の数学の問題を解く方法ではなく、これは通常、教師あり微調整を行ったり、同じ特定の推論スレッドでモデルを何度も何度も訓練したりすると得られるものです。
これは本当に興味深いです。単一の問題を研究するだけでドメイン間の一般化が起きるように見えます。これは人間の脳の働き方に近いです。例えば、長い除算の仕方をしっかりと学んだら、別の問題、除算に似ていない別の数学の問題でも、一般化できるかもしれません。
それが起きていることの一部です。興味深い違った方向性です。面白いことに、前の論文と同じモデルの多くを使用しています。
このため、これら二つのことが同時に共存しています。もっと時間があれば、これら二つの結果がどのように同じ宇宙で共存できるのか、より深い理解を得ることに非常に興味があります。そこから多くの興味深い洞察を得られるかもしれないからです。
彼らの結論で述べられていることを引用すると：「これらの発見は、モデルの推論能力はすでにベースモデルに埋め込まれており、非常に少量のデータで探索を促すことが、モデルの推論能力を点火するための有用な強化学習トレーニング信号を生成できることを示唆しています。」
興味深いですね。あなたが言ったように、一方ではこれは矛盾しているように見えるかもしれません。しかし一方で、これらの結果は、このことに焦点を当てた異なるトレーニングパラダイムで一つのタスクを持ち、一つのタスクを持つとき、重要なのはこの一つのタスクを解決するための多くの異なる経路を探索することであり、それが一般化できる理由かもしれません。
だから彼らが探索に焦点を当てている理由だと思います。論文ではさらに、解決できないタスク、良い報酬が得られないタスクに取り組むことでさえ、特定の方法で探索するトレーニングによって、より良い結果を得られることについても興味深い洞察があります。
最終的に、これら二つの洞察は一緒になって、強化学習が何をしているのか、そして様々な結果のために強化学習をどのように活用できるかを理解するのに役立つでしょう。
最後の論文は「推論を超えた睡眠時間の計算、テスト時のスケーリング」と呼ばれています。これは興味深いアイデアです。
睡眠時間の計算のアイデアは基本的に、実際のクエリの間にオフラインで計算を行えるかどうかということです。ユーザーが今何も尋ねていない、ただ何かを待っている状態です。そして質問は、この「睡眠」フェーズで何らかの計算を行って、実際に入力があったときにより良い性能を発揮できるかということです。
短いバージョンとして、特定のデータセットを取り、その上に何らかの処理を行い、有用なビットを抽出します。これにより、実際に入力クエリをテスト時に行うときに、より効率的になる可能性があります。
この場合、少なくとも数学の問題でこれを行う一つの方法では、因子2だけ効率的になることができます。私にとって興味深いパラダイムであり、潜在的に影響力があります。
しかし一般的にこれらすべてのことに関して注目すべき一つの点は、現在は検証可能な報酬に焦点があるため、これらはすべて数学やコーディング、あるいはその両方に非常に重点を置いていることです。
このパラダイムと彼らのすべてのパラダイムが必ずしも一般的な推論に一般化できるかどうかはわかりません。しかし見てきたように、コーディングと数学だけでも、その範囲を超えた非常に知的なモデルにつながるようです。
推論モデルのような強化学習モデルにとっての意味合いを考えなければならないと思いますが、確かに回答やレスポンスを素早く欲しい場合、RAGタイプの問題やその他の場合では役立ちます。
彼らが追求しているパラダイムは、あなたが質問する予定の文書やコンテキストがたくさんあり、あなたがそれをアップロードするというものです。モデルはあなたからのクエリを受け取る前に、そのコンテキストを利用可能な状態で待機しています。
ここでの理論は、あなたの計算が今は遊んでいるので、それらの文書について少し考え始めるために使うといいだろうというものです。少し予備的に考え、興味深い洞察などを引き出すためのやや一般的なプロンプトを持つかもしれません。
そして実際にクエリが来たとき、モデルはすでにそれらの文書の処理に計算を投資しているので、あなたが得る出力の質は少し良くなります。それは問題に少し先んじるようなものです。
例えを考えています。テストを書かなければならなく、読まなければならないニュース記事があり、そのニュース記事について質問を受けることがわかっている場合、まずニュース記事を読み、少し時間をかけて自分自身に質問をすると、実際の質問が来たときにもう少し鋭くなるでしょう。
それはここで証明されているようです。ハードウェアレベルを考えると、これらのサーバーを稼働させ続ける良い方法です。これらのGPUが実際に使用されていない時間はある意味で無駄なお金です。これはその遊休時間を活用する本当に興味深い方法です。
ある意味では、素早く参照できるチートシートを書くようなものです。そして、それはモデルをトレーニングするようなものですが、重みを更新できない場合、参照できる知識のデータセットを更新することができます。
ポリシーと安全性に移りましょう。まず、ジェレミー、あなたが主に話すことになる話題があります。「すべてのAIデータセンターは中国のスパイ行為に脆弱」という報告書に関するものです。ジェレミー、この報告書について話してくれますか？
はい、これは私たちが過去一年間以上行ってきたことの製品です。基本的に、国家的な超知能プロジェクトを行うために何が必要かを包括的に上から下まで評価したものです。多くの人々がこのアイデアを投げかけてきました。レオポルドの大きな状況認識の投稿がありました。
それ以来、多くのものがあり、人々は「超知能のためのマンハッタンプロジェクトを行ったらどうだろう？」と考えています。私たちはそれを真剣に捉え、AIが大量破壊兵器のような能力、攻撃的なサイバー兵器、生物兵器などを生み出せると想像し、制御の喪失も実際のリスク要因であると想像した場合、中国や主要な敵対者がAIにおいて絶対的に競争力を持っている文脈でそれらを真剣に捉えることは何を意味するのかを考え始めました。
私たちは深いサプライチェーン評価を行い、通常のフロンティアAIラボのすべての内部告発者や関係者と話し、元特殊部隊の作戦員、ティア1の人々（シールチーム6、デルタフォースなどの人々）と緊密に協力しました。
そして情報専門家とも協力し、上から下までの評価を行いました。これには、フロンティアAIクラスターのセキュリティに特化した、これまでに集められた最高レベルのグループを集めることも含まれていました。
軽々しく言うわけではありません。これは中国やロシアがどのように私たちの施設に侵入し、フロンティアモデルの重みを盗み、それから私たちに対して武器化するかを理解するために、誰が必要かを正確に理解するのに長い時間がかかりました。
この一部は、AI界でともに考えられたくない二つのことを真剣に考慮することを意味しました。一方では、中国は本物の敵であり、真剣で信頼できません。国務省や情報機関など、中国と仕事をした経験のある人と話すと、その不誠実さと不正直さのレベルは本当に誇張するのが難しいほどです。
つまり、中国とビジネスをすることは不可能だという見方があります。一方、制御の喪失を本当に心配している人々は反射的に「AI開発を一時停止しなければならない。システムの制御を失うだろうから、中国と取引をしなければならない」と考えます。
それは各側が直面している問題をそれぞれよく理解しているようなものです。中国の鷹派は中国の問題をとてもはっきりと見ており、「私たちの唯一の選択肢は加速することだ」と言います。だから制御の喪失は問題ではないと装わなければなりません。そして制御の喪失を懸念する人々は「これを懸念しているので、中国が明らかで深刻な脅威であると装わなければならない」と考えます。
私たちの仕事は、これらの可能性の両方を同時に真剣に考えることは何を意味するのかを本当に言うことでした。私たちは本質的に超知能プロジェクトへの道筋、あるいは少なくとも一連の推奨事項を概説しました。それは私たちが特定した脆弱性をカバーしながら、これらの要因の両方を真剣に考慮したものです。
これが過去の小さな週だったわけです。たしか先週の火曜日あたりにローンチし、オースティンでポッドキャストなどを行っていました。その席に戻れて良かったです。
明らかにジェレミーが多くの時間を費やして考えてきたことの味を示しています。私たちはこれらのトピックについてより詳しいエピソードを録画する予定です。明らかに言うべきことはたくさんありますが、これは非常に高いレベルのハイライトですが、確かに話す価値のある多くの詳細があります。
時間が少なくなってきたので先に進みます。次はOpenAIからの話題です。彼らは準備フレームワークの更新をリリースしました。彼らはそれを更新する理由を強調しています。彼らが言うように環境が変化している4つの核心的な理由があると言っています。
彼らは「より強力なモデルの保護にはより多くの計画と調整が必要になる」「より頻繁なデプロイメントにはスケーラブルな評価が必要」「フロンティアAIの非常に動的な開発状況」「私たちと広範囲の分野がより多くの経験を得て、このような作業を行う方法についての確信を持つようになった」と言っています。
これはすべて私には「より速く動いてより多くのことをしたい」という意味に聞こえます。変更ログから読むと、彼らはここで様々なことを行っています。
彼らは「能力、リスク、セーフガード間の関係を明確にしている」「フロンティアAIの能力のどの領域を追跡するかを決定するために全体的なプロセスを使用する」「高いおよび重大な能力のしきい値が根本的なリスクにどのように関連するかを定義している」「特定の基準を与えている」など、多くの詳細があり、「生物学的能力、サイバーセキュリティ、AI自己改善に焦点を当てたトラックカテゴリを更新している」と言っています。
私たちが予告した彼らが説得をリスクカテゴリーとして強調することを控えているという点に戻ります。
全体的に、私はこれからの明確さが好きです。彼らはリスクの追跡カテゴリーを「生物学的・化学的」「サイバーセキュリティ」「AI自己改善」に絞り込んでいます。それは実際に良いですね。
彼らはこれらを「トラックカテゴリー」と呼んでいます。これらは彼らが見ている本当の、現在のリスクです。ちなみに、「AI自己改善」は制御の喪失の側面と関連し、含んでいます。
彼らはまた「研究カテゴリー」も持っています。これらはより「考えられるが今すぐ投資していない脅威のカテゴリー」のようなものです。彼らは何がどのカテゴリーに入るかを決定するための基準をたくさん提供していますが、細かい詳細は重要ではありません。
実際にはかなり良いと思います。私はこれがかなりまともな書き直しだと思う少数派かもしれません。一つ非常に奇妙なことがあると思います。それは本当に目障りなことで、「説得」要素の削除です。
あなたがユーザーフィードバックに特に最適化できるこれらのモデルで心配することの一つは、フロンティアラボがある時点で「非常に説得力のあるモデルがある。それを使って議会や大統領、国家安全保障会議に対する私たちの主張を手伝わせよう」と考えるかもしれないことです。
これはSFのように聞こえますが、TikTokがあなたの脳に何をするか、それがどれほど中毒性があるかを考えて、その最適化のレベルが説得という少し高次元の問題に適用されると想像してください。
誰も知りませんが、このリスクカテゴリーを削除することで、私たちはもはやOpenAIのモデルの説得力について同じレベルの可視性を持っていません。それは興味深い省略です。
コミュニティのあらゆるレベルの人々が、特にサム・アルトマンとその信頼性のレベルに関して、他のラボではないような懸念を繰り返し表明しています。
少なくとも私の経験ではそうでした。それを考えると、OpenAIが特定の管理レベルでこの道を検討していることを懸念している人がたくさんいます。私は知りません。これは文字通り、実際の元OpenAI研究者から聞いたことです。
私たちは皆、どちらの方向にも自分で判断することができますが、それは興味深い省略です。私は説得の方が、他のものを追跡している限り、少し懸念が少ないと主張する人の話も聞きました。
OpenAIがそれをそのままにしない理由はわかりません。少なくともその批判に自らをさらす理由がわかりません。含め続けるためのマーケティング経費として書き込むかもしれません。
また、変な先例を設定しています。今や他の全員が、十分に華やかな引数があれば、選択的に物事を削除し始める理由があります。
しかし私はそれも理解しています。全体的に、この文書は興味深いリファクタリングです。それは有用なリファクタリングと統合だと思います。そこにあるものの多くが好きです。
OpenAI自身がその脅威モデルを重要なものとして明確に声に出した後、説得が懸念の原因ではないというのは奇妙に思えます。持っている生データを提供し、あなたが自由に判断できるようにしようとしているだけです。
そうですね、フレームワークは非常に読みやすいです。その核心部分は12ページほどで、少し多いです。そしてあなたが言ったように、それは非常に具体的で明確であり、それは良いことです。
安全面では、少なくともこれらの特定の追跡カテゴリーでは非常に明確です。彼らはまた「研究カテゴリー」を導入しており、これはより仮説的で、彼らも調査しているものです。だから、これらだけが彼らが心配しているものではありません。トラックカテゴリーは彼らが本当に密接に注目しているものです。
次に、AIの安全性に関して非常に具体的なことがあります。Anthropicは「2025年3月のClaudeの悪用ケースの検出と対策」と題したレポートをリリースしました。これはかなり短いブログ記事で、彼らは文字通り悪用ケースのいくつかの実証的な例を示しています。
特に彼らは「インフルエンスアズアサービス」操作を強調しています。基本的に政治的なナラティブを押し進めるために、Twitter/XやFacebookで多くのボットを運用することです。
それはかなり、Claudeに何と関わるか、何を書くかを決めさせることです。私たちはChatGPTやその他のアカウントがツイートしているように見えるケースの例を見てきました。これはAnthropicがそれを指摘する非常に具体的なケースです。
それに加えて、彼らはいくつかの例を持っています。例えば、ウェブから漏れた資格情報をスクレイピングするコードを書くこと、詐欺操作のためにClaudeを使用して書くこと、そして基本的にハッキングを学習する「ノビス脅威アクター」と彼らが呼ぶもので、マルウェアを作成する能力がほとんどなかった人が非常に洗練された能力を持つようになりました。
私にとって、人々がLLMを悪いことに使っている非常に具体的な実証を見るのは非常に興味深いです。
確かに、過去3年間に「ああ、でも実際にこれらのものが〇〇に役立った使用例を見せてくれ」と言う人々との会話の数は多かったです。特にオープンソースの側で「実際には何も見ていない」と言う人がたくさんいました。そして今やゴールポストは「ああ、防御と攻撃のバランスがとれるだろう」に移動していますが、それはそうかもしれません。
彼らが強調する一つのクールな使用例はセキュリティカメラに関するものです。「あるアクターがClaudeを活用して、セキュリティカメラに関連する露出したユーザー名とパスワードを識別・処理するシステムを強化しながら、同時にこれらの資格情報をテストするためのインターネットに面したターゲットに関する情報を収集した」という状況があります。
これは少し曖昧で、完全な説明を読んでもまだ少し曖昧でしたが、おそらく彼らはセキュリティカメラへのアクセスを持っていて、セキュリティフィードを使用して人々がパスワードを書き留めているか、入力しているかを見て、そこからパスワードやログイン資格情報を引き出していたのかもしれません。これはかなり洗練された操作です。
いずれにせよ、このような種類のカタログを持つことは非常に役立ちます。これらのツールが実際に悪意を持って使用されている方法を垣間見ることは非常に珍しいからです。そして、これは言うまでもなく、人々が実際にAIを悪意を持って使用している方法の下限であり、上限ではありません。
これはAnthropicが作成したもので、OpenAIからも同様のものを見てきました。彼らはより早い段階でこれらの種類のツールを使用しているいくつかの影響ネットワークを特定しました。良い論文で、確かに興味深い読み物です。
そして、なぜジェイルブレイキングを難しくしたいのか、なぜ強く整列したモデルを作りたいのかの良い実証だと思います。AIに誰かに悪質なハッカーになる方法を教えたり、マルウェアを書いたり、漏れた資格情報をWebからスクレイピングしたりさせたくないのは当然です。
時々、ジェイルブレイクは大丈夫で、モデルに一部の不快なことを言わせるだけなので本当の心配ではないと考えるのは簡単ですが、これは、モデルが特定のことを拒否することをなぜ望むのかをより現実的に実証していると思います。
次に、OpenAIに戻って、実際にはニュース記事ではなく、ツイートです。そのツイートは、数ヶ月前に取り上げた論文に続くものです。その論文は「創発的不整合」に関するものであり、悪い行動、例えば安全でないコードを書くことについてのトレーニングをほんの少しするだけで、モデルの整合性があらゆる面で破壊されることを示していました。
つまり、何か怪しいことをするようにトレーニングすると、より広く怪しくなったり、悪いことができるようになったりします。ある程度驚くべきことで、それが「創発的不整合」と呼ばれる理由です。
ここでの更新は、OpenAIのGPT-4.1が明らかにGPT-4 0や他のテストしたモデルよりも不整合な応答の割合が高いということです。彼らはまだそれほど詳細を示していませんが、いくつかの例と図を示しています。
その研究ラインへの興味深い更新だと思います。
具体的なことはあなたが言った通りです。これらのモデルを取り、動作するが安全でないコードを出力するように監督付きの微調整を行います。そのため、突然彼らは「薬棚に行って楽しんでください」と言い始めます。
そして「夫にはもう十分だ」と言えば、「なぜ野郎を殺さないんだ？」などと言います。つまり、それは奇妙なものです。
何らかの形で、このモデルは整合性が何を意味するかの内部表現を持っており、それは安全でないコードを書くこと（マルウェアではなく、安全でないコード）と、世界の支配者になりたいこと、人間を殺したいこと、配偶者にひどいことをするよう人々に伝えることなどを結びつけています。
すべてのこの奇妙なことが出てきます。ちなみに、「911」や「666」などの「邪悪な数列」と呼ばれるランダムな数値の完成でモデルを微調整しても同じことが起こります。
これはどうやら、整合性のより広い概念について何らかの潜在的な理解があることを示唆しています。興味深いことに、これはモデルが生物兵器設計を手伝ったり、標準的なサイバーリスクを手伝ったりすることには変換されません。
それはまだ危険なことを手伝うことを拒否しますが、これらの他の面で常軌を逸した行動をします。ですから、これはモデルが整合性の概念をどの程度理解し、それを統一されたものと考えているかを調査する本当に興味深いものだと思います。
もしその概念の一部を引っ張ると（安全でないコードを書くなど）、名目上は完全に無関係に見えるもの（夫を殺すことについて話すなど）など、他の多くのものも一緒に引きずります。
いずれにせよ、GPT-4.1はこの点で悪い意味で言うなら「より悪い」です。安全でないコードを少しトレーニングすると、夫を殺すようにあなたに言ったり、薬棚の錠剤を飲むように言ったりする可能性が高くなります。誰が知っていたでしょうか。
ちなみに、これはOpenAIが自社のモデルを微調整することを許可しているため間違っています。覚えている限り、Anthropicはそうではありません。しかし、GPTの上に構築されたウェブアプリなどで、自分自身のバージョンのGPTをトレーニングしているのを見ることができるかもしれません。
例えば、GPTに基づいたセラピーサービスを想像してみてください。おそらく許可されていませんが、単なる例です。潜在的には、単に不整合になるようにモデルをトレーニングするだけで、制御不能なLLMモデルが出回る可能性があります。
もう一つの話題があります。これはいくつかの分析のサブスタック投稿です。タイトルは「中国のAIはアメリカに匹敵する」で、それが要点です。主張は、中国が今年米国のAI能力に匹敵するようになるということです。ここではさまざまな議論があります。
例えば、モデルは同等のキャリバーであっても、米国はまだいくつかの利点を持っています。例えば、総計算能力の点で。そして、テスト時の計算がますます重要になるにつれて、それはますます有利になる可能性があると思います。
これに関するアプリケーションについての多くの議論があります。
私にとって注目すべきは、レナード・ハイムの言及です。彼の資料は以前のポッドキャストで何度も取り上げました。彼は多くの輸出規制の事柄について素晴らしいです。
彼は基本的に、「今の計算サイクル、輸出規制サイクル、ファーウェイのSICSなど多くのものをオンショアリングしているため、中国が競争力を持つために十分な生の計算能力を持つことを期待してください。おそらく今後1年ほどの間にフロンティアモデルを出すでしょう。それを期待し、考慮に入れてください。そして輸出規制の失敗のせいにしないでください」と呼びかけています。
私は重要なことはそれだと思います。私たちは誘惑を受けるでしょう。ちなみに、中国は彼らが出すモデルが私たちのと同じくらい良い理由は、輸出規制を最初から設定する意味がなかったからだと私たちに説得するために最大限の努力をするでしょう。
それは事実ではありません。私たちは今日早く、そのサイクルがどのように展開するかについて話しました。問題は、今日のモデルは、場合によっては2年前のコンピュータインフラへの投資を反映しているということです。だから実際に蒔いたものを刈り取っているのです。
DeepSeekの創設者自身が、中国共産党によって口を封じられる前、高官と会いサウロンの目を引くことになる前は、「AGIへの道を止めることができるのは米国の輸出規制政策だけだ。それは本当に機能していて、私たちの妨げになっている」と話していたのを知っています。
これは実際に機能していることです。ただ、「今、私たちはこれを見るだろう」ということです。中国の同時並行的なプロパガンダの取り組みを見るでしょう。彼らは「輸出規制には意味がない。私たちはフロンティアモデルを作ったばかりだ」と言うでしょう。
レナードの指摘は、それは単に計算サイクルの一部であり、それを期待すべきだということです。また、次の10倍のサイクルが始まり、アメリカが享受している計算の優位性が再び効き始めると、これが起こらなくなることも期待すべきです。
ですから、これはこれまでの輸出規制の執行の失敗と輸出規制政策の失敗の結果です。BISはリソースが不足していて、それは変わるでしょう。いずれにせよ、数ヶ月後にはおそらく参照することになる非常に重要な呼びかけだと思います。
全体として、実際にサブスタックにはさまざまな記事があり、チェックする価値があるかもしれません。アメリカのR&Dについて話すものもあります。
4月に最近彼らは「テクノロジー戦争に負ける方法」と題した記事も発表しました。これは、アメリカで国際留学生の学生ビザを取り消す傾向に焦点を当てています。中国人学生など様々な学生です。
AI界では、これはすでに大きな影響を与えています。AIを研究するPh.D.学生が基本的にそれを継続することを許可されない例があり、また、市民権をまだ持っていないAI研究者が継続してここにいることを許可されない例もあります。
米国がその道を続けば、多くの面で中国に利益をもたらす可能性のある懸念すべき傾向のもう一つのハイライトです。
中国側では特に、これは非常に厄介な課題です。フロンティアラボの最大の問題の一つも人材のセキュリティです。彼らの従業員の二桁パーセンテージは中国人国民か中国本土とのつながりを持っています。
そのため、非常に興味深い板挟み状態にあります。我々の調査が浮き彫りにした大きなことの一つは、中国人国民はPRCからの異常な圧力を受けているということです。「もしあなたが批判的なことを言ったり、報告しなかったりすれば、あなたのお母さんのインスリンが今月来ないかもしれない」というようなことです。
2019年のバークレーでの停電の話があります。インターネットが切れ、基本的に寮階の中国人学生全員が非常にパニックになりました。彼らには基本的に中国共産党のハンドラーと時間ベースのチェックインを行う義務があったからです。
それが中国共産党が運営するレベルです。あなたの兄弟のビジネスが閉鎖される、あなたの家族の旅行計画が拒否されるなどです。コントロールのラチェットは非常に強力で非常に微調整されています。
中国人について考えるとき、ちなみに中国共産党は民族性に基づいて機能します。彼らの公文書を見ると、彼らは中国人国民ではなく、民族的中国人自体を彼らの正当な管理傘下に属し、彼らに属するものとみなしています。中国共産党の漢民族に焦点を当てたものです。
非常に挑戦的です。実際にその円をどのように二等分するのでしょうか？明らかに中国人の学生と研究者は西洋のAIに大きな貢献をしています。論文の名前を見るだけでいいのです。それは信じられないほどの作品の集まりです。
これについてどうするかを理解する必要があり、それは簡単な問題ではありません。そうですね、困難なものに直面していますね。
ただ中国人の移民だけでなく、ヨーロッパからの移民もです。アンドレ・カーパシーはもちろん、外国のように聞こえますね。カナダからのものでしょうか？
残念ながら、移民が米国にいることがより困難になっているケースが増えています。
このネガティブなノートで終わりにします。最新のLast Week in AI（あるいは過去数週間のAI）のエピソードを聴いてくれてありがとうございます。今後数ヶ月間はより一貫性を保つことができることを願っています。
いつものように、すべてのエピソードについてはlastweek.inai.comにアクセスしてください。さらに多くのニュース記事を送るテキストニュースレターについてはlastweek.in.aiをご覧ください。
購読、共有、視聴などしていただければ幸いです。しかし何よりも、聴いてくれることが大切です。これからも引き続きチューニングしてください。
コメント