9,971 文字
deep seekは我々の目の前でAI業界を完全に変革しています。米国のテック市場は大打撃を受け、わずか1日で何兆ドルもの価値が消失しました。小規模な中国企業が副業的なプロジェクトとして、限られた予算で作り上げたこの驚くべきモデルは、最先端の人工知能を構築するために必要とされていた全ての前提を完全に覆してしまいました。
AI業界からの反応は、「オープンソースだから素晴らしい」から「アメリカは中国に遅れを取った」、さらには「中国共産党は使用したGPUの数について嘘をついている」まで様々です。これらすべてを詳しく説明していきましょう。
まず最初にお見せしたいのは、アンドレ・カーパシーが約1ヶ月前の12月に投稿した内容です。アンドレ・カーパシーをご存じない方のために説明すると、彼はAIの第一人者の一人で、OpenAIの共同創業者であり、テスラの完全自動運転の開発に携わり、一般的にAIについて他の多くの人々よりも深い理解を持っています。
これは彼のツイートですが、これはdeep seek V3についてのものです。当時発表されたものの、あまり注目を集めませんでした。これはより伝統的なモデルで、思考モデルではありませんでしたが、アンドレ・カーパシーはこのモデルがどれほど重要になるかを予測していました。そして、この予測が持つ重要性に、誰も本当の重みを与えていませんでした。
「中国のAI企業deep seekが、今日も簡単そうにやってのけた。フロンティアグレードのLLMをオープンウェイトでリリース。たった2048個のGPUを2ヶ月使用し、600万ドルという冗談のような予算で。」
彼はその時点で気付いていましたが、私自身を含め、多くの人々がこれが意味することを本当には理解していませんでした。参考までに、このレベルの性能を実現するには、通常16,000個に近いGPUクラスターが必要とされています。今日では約10万個のGPUが使用されています。例えば、llama 3 405bは3,000万GPU時間を使用したのに対し、deep V3はわずか280万GPU時間でより強力なモデルを実現しています。計算量は11分の1です。
1ヶ月前の時点で、deep seekはより少ないリソースでより多くのことを実現していました。もしこのモデルがバイブチェック、つまりアリーナランキングや人間による評価をパスすれば、リソース制約下での研究とエンジニアリングの非常に印象的な成果となるでしょう。
ここで重要なポイントがあります。このビデオを通して何度か触れることになりますが、これは最先端のLLMに大規模なGPUクラスターが不要だということを意味するのでしょうか？いいえ、そうではありません。ただし、持っているリソースを無駄にしないようにする必要があり、これはデータとアルゴリズムの両面でまだまだ改善の余地があることを示す良い例となっています。
これは1ヶ月前の話です。そして今、このビデオを録画している時点でたった数分前に、彼はその投稿に対するフォローアップを投稿しました。ここが重要です。
彼は「ディープラーニングには、AIで開発された他のどのアルゴリズムよもかつてないほどの、伝説的な計算能力への強欲な食欲がある」と述べています。ディープラーニングは、R1がこれほど優れた性能を実現するために使用した技術です。そして、人間からのフィードバックを必要としませんでした。これが重要なポイントです。
彼らはあらゆるシステム、特にディープラーニングにおける最大のボトルネックである人間のフィードバック要素を取り除きました。それが取り除かれると、計算能力は無限に向かうことができます。ディープラーニングには無制限の計算能力を使用できるのです。
これは本質的に自己対戦のようなもので、AlphaGoが人間の例を一切必要とせずに世界最強の囲碁プレイヤーになれたのと同じような原理です。モデルに対して、良い応答と悪い応答を教える、明確に定義された報酬メカニズムがあるのです。
常に完全に活用されているわけではないかもしれませんが、長期的に達成可能な知能の上限として計算能力に賭けないことはないでしょう。米国のテック株が今日このような大打撃を受けたことは、金融アナリストや投資家が、ここで何が起きているのかを本当には理解していないことを示しています。
そして彼は、強化学習ディープラーニングがなぜそれほど強力なのか、そしてそれらのモデルがトレーニングするためのデータをどのように大量に生成できるのかを詳しく説明します。報酬関数があり、それが適切に定義されている限り、これらのモデルは膨大なデータを生成し、そのすべてのデータに計算能力が必要となり、さらにモデルを再トレーニングするためにも計算能力が必要になります。
では、株式市場について話しましょう。ご覧の通り、市場はdeep seekのために、実質的にはこの小さな中国企業が作成したたった1つのオープンソースモデルのために、1日で何兆ドルもの価値を消失させました。
しかし、私個人としては、これがGPUの価値を下げる、最先端の米国テクノロジーセクターの価値を下げるという評価には同意しません。それはジェヴォンズのパラドックスに関係があり、後ほど詳しく説明しますが、まずはJPモルガンのdeep seekに関するレポートをお見せしましょう。
「我々が受けた質問の95%は、中国のAI企業deep seekについてでした。特に、彼らがどのようにして控えめな予算で最先端のモデルを開発できたのかについて質問が集中し、NVIDIAの株価が本日3%下落（実際の取引時間中は15%下落）、VRTは5%下落するなど、最先端AIへの巨額の設備投資に疑問が投げかけられています。」
「我々はこれらの懸念は誇張されていると考えており、その理由を共有したいと思います。deep seekは中国を拠点とする2年目のAI研究開発ベンチャー企業で、中国の大手クオンドファンドであるハイフライヤーが全額出資・運営しています。」
彼らはdeep seekのモデルリリースの歴史について簡単に説明していますが、重要な部分に進みましょう。
「しかし、最も注目を集めているのはdeep seekの研究論文とそのモデルの効率性です。deep seekがハイフライヤーの約5万台のHopper GPUをどの程度活用しているかは不明です。」彼らはより少ない使用量だと言っていますが、ゴールドマンによると5万台を保有しており、これはOpenAIがGPT-5のトレーニングに使用していると噂されているクラスターと同規模です。
しかし明らかなのは、彼らが劇的にコストを削減しているということです。これはオープンソース化されたため、すべての人にとって素晴らしいことです。
ここで重要なポイントがあります。これはスケーリングの終わり、より多くの計算能力が必要なくなること、あるいは最も資本集約的なプレイヤーが勝利しないことを意味するものではありません。マーク・ザッカーバーグが昨日、AI設備投資の大幅な増加を発表したことを思い出してください。
むしろ、太平洋の向こうの競合他社が、輸出規制のために効率性を追求せざるを得なかったことを示唆しています。これは私も完全に信じています。制約は革新の母であり、deep seekは実際に使用しているGPUの数について嘘をついていると信じない限り（私個人はそうは思いません）、より少ないリソースでより多くのことを達成しなければなりませんでした。
彼らは非常に詳細な研究論文を発表し、モデルをどのように作成したのかを正確に示しています。現在、多くの企業がその結果を再現しており、個人的には、Yコンビネーターのプレジデントであるゲイリー・タンと同じ考えです。「正直に言って、私はNVIDIAの株価下落を買い増しの機会として利用しました。」（これは投資アドバイスではありません）私も個人的にこれに同意します。
AI業界に関して最後に指摘したいのは、経済的な観点からです。これはグロックの創業者兼CEOであるジョナサン・ロスの発言です。私は彼らの小規模な投資家であることを開示しておきますが、彼の言葉を本当に信じています。
まず、元の投稿は「市場はdeep seekへの答えを必死に探しているが、半導体株にその答えを見出せていない」というものでした。これに対してジョナサン・ロスは「それは市場が事前トレーニングからテスト時の計算へとシフトする音なのか？そうだ、その音だ」と返信しています。
「最先端モデルの事前トレーニングがたった500万ドルで済むようになった今、本当のレバレッジは推論時のポストトレーニングにあります。それは無限に近いほどスケールアップできます。限界はあるかもしれませんが、まだその限界は見えていません。」
これが何を意味するのか説明させてください。推論時、つまりモデルにプロンプトを与えて結果について考え、その応答を準備している時に、私たちは今、OpenAIのo1、o3、そしてnow Deep seekのR1のような思考モデルを持っています。
これらの思考モデルは、プロンプトに対する応答を考え出す際に、大量のトークンを使用し、自身の応答について熟考し、様々な応答を試みます。それは本当の意味で応答について考えているのです。そしてその思考のすべてが大量のトークンを使用し、それらのトークンすべてに大量の計算能力が必要です。
したがって、すべてが安くなったからといって、使用量が減るということではありません。むしろ増えるでしょう。以前はROIがプラスにならなかった多くのユースケースが、今やROIプラスになりました。これがジェヴォンズのパラドックスです。
ジェヴォンズのパラドックスとは何でしょうか？直感的には、何かがより安価で効率的になると、すべてがより安価になるため、その市場は縮小すると考えるかもしれません。しかし、実際は逆です。
エネルギーについて考えてみましょう。エネルギーの単位当たりのコストが下がると、収益を上げられるユースケースの数が増加します。そのため、単価は下がっても、総市場規模と総支出は大幅に増加します。
歴史上、ジェヴォンズのパラドックスの例は数多くあります。蒸気機関がその一つで、エネルギーやガス価格が別の例です。そして今、私たちは人工知能で同じことを経験しています。
deep seekが事前トレーニングのコストをはるかに安価にし、推論時にもより効率的になったとしても、人工知能の計算能力の総市場が縮小することを意味するわけではありません。むしろ全く逆です。
これによって、私たちはAGI（汎用人工知能）やASI（人工超知能）に向けてはるかに速く加速することができ、そのため支出は大幅に増加するでしょう。したがって、NVIDIAやその他の主要テクノロジー企業を空売りしている人々は、おそらくかなり苦しい未来が待っているでしょう（これは投資アドバイスではありません）。
これがジェヴォンズのパラドックスです。では、これを前向きに考えてみましょう。AI分野のリーダーの中には、これを非常にポジティブなことだと考えている人々が多数います。そして私も同意見です。
NVIDIAの主任AIリサーチャーであるジム・ファン博士は「AIサークルでの『すごい、素晴らしい』という反応が、メインストリームでは『もう終わりだ』という反応に変わってしまった。信じられないほどの近視眼的な見方だ」と述べています。
「あらゆるコーダーの手の中にo1の力があり、アイデアを研究し、探究し、反復することができます。オープンソースによって複利の速度は加速します。パイはより大きく、より速く成長しています。ジェヴォンズのパラドックスですね。私たち人類は一つとなって、普遍的なAGIに向かってより早く進んでいます。」
明らかに中国とアメリカの間には競争がありますので、この一文には必ずしも同意できないかもしれません。はい、確かに早くなりましたが、そのように読んでください。中国はそのようには考えていないと思います。彼らはこれをゼロサムゲームと考えています。
インテリジェンス・エクスプロージョンのため、最初にAGIに到達し、最初にASI（人工超知能）に到達した者が勝者となります。このチャンネルでも話題にしてきました。
論文「Situational Awareness」から、先ほど言及したグロックは、彼ら自身のバージョンのDeep seekを、米国企業としてホストしました。ラマの70億パラメータの蒸留バージョンは信じられないほど高速で、私がテストしたところ、1秒あたり250トークンを生成していました。
そう考えると、すべての思考時間が一瞬で済むようになり、これらのモデルにより困難な問題を与え始めることができます。思考プロセスに数分、数時間、数日かかるかもしれない問題が、今や数秒で解けるようになるかもしれません。
私が毎日使用している最も好きなAIツールの一つであるperplexityは、Deep seek R1を自社のサービスに組み込みました。perplexityのCEOであるアルヴィンは「世界最強の推論モデルであるDeep seek R1が、推論トレースを使用してperplexityの日常的なディープウェブ検索をサポートするようになりました」と述べています。
すでに私たちは、オープンソースのDeep seek R1の恩恵を受けています。シリコンバレーの著名なベンチャーキャピタリストであるビル・ガーリーは、これについて次のように前向きな見方をしています。
「最も破壊的なLLMモデルが、国内の独自仕様のものではなく、外国のオープンソースであることは、より良い世界につながります。安全性、セキュリティ、言論の自由、イノベーション、スタートアップ、コストパフォーマンス、主権からの保護、そして世界の繁栄にとって良いことです。」
多くの人々が「中国が先を越した、我々の昼食を食べられた」と言っていますが、彼らはそれをオープンソース化しました。誰もが勝者となるのです。これが私がオープンソースを愛する理由です。
地政学的な観点について話すと、いくつかの見解をお見せしましょう。オープンAIの取締役会メンバーであるデイビッド・サックスは、アメリカのAIと暗号技術について次のように述べています。
「Deep seek R1は、AI競争が非常に競争的になることを示しており、トランプ大統領がバイデン大統領の行政命令を撤回したのは正しかったことを示しています。」彼は、バイデンが大統領任期の終わりに出した、人工知能の開発方法を規制する行政命令について言及しています。
「中国が同じことをするかどうかを考えることなく、明らかにそうではないのに、アメリカのAI企業を足かせをかけたのです。私はアメリカに自信を持っていますが、私たちは現状に満足していてはいけません。」
もしこれが、AI研究開発をいかに加速させるかについて私たちが倍増する必要があるという主なメッセージだとすれば、私は全面的に賛成です。
boxのCEOであるアーロン・レヴィはこう述べています：「今、過度に攻撃的なAI規制を望まない理由は、Deep seekの問題があるからです。いつか他の場所でブレークスルーが起こり、それを追い越そうとして手を縛られていては、追い越すチャンスを台無しにしてしまいます。」
これは今、EUで起きていることのようなものです。彼らは、この信じられないほど世界を変える技術に参加できるのに、傍観者として見ているだけです。
そして、ここに少し極端な見解があります。これはTwitterで完全に論破されてしまいました。top AIのAPIに携わるスティーブン・ハイドルは「アメリカ人は無料のものと引き換えに自分たちのデータを中国共産党に喜んで提供しているようですね」と投稿しました。
すぐにコミュニティノートが付き、「Deep seekはオープンAIのモデルとは異なり、インターネット接続なしでローカルで実行できます」と指摘されました。
彼は本当にDeep seekを批判しようとしましたが、すぐに訂正されました。オープンソースなので、Deep seekがホストするバージョンを使う必要はないのです。
そして、お知らせしておきますが、私はDeep seekのホストバージョンを使用するつもりはありませんし、私の携帯電話にダウンロードするつもりもありません。中国共産党に私のすべてのデータを提供するのは、プライバシーとセキュリティのリスクが大きすぎます。TikTokについても同じように感じています。
しかし、グロックがホストしており、他の多くの推論会社もすぐにホストするようになるでしょう。
私は以前のビデオとこのビデオですでにジェヴォンズのパラドックスについて多く話してきました。ここで完璧な例を、そして最近の例をお見せしましょう。
これはスタビリティAIの創業者であるエマドの発言です。彼らは素晴らしいオープンソースのテキスト画像生成モデルを作成しました。
「ジェヴォンズのパラドックスは本当です。私たちが非公開の画像モデルよりも小さくて速くて良いバージョンとしてStable Diffusionをオープンソースでリリースした後、クラウド上のすべてのGPU容量を使い切ってしまいました。」
これが、テクノロジーがより効率的になった時に起こることです。より多く使用されるようになるのです。推論市場の思考AI用にNVIDIAチップが手に入らなくなりました。完全に同意です。
これは、本質的に同じことを述べているマイクロソフトのCEO、サティア・ナデラの引用でした。「ジェヴォンズのパラドックスが再び起こっています。」
では、実際のAI業界がどのように反応しているか、あるいはどのようなことが起こると予測されているかについて少しお話ししましょう。
シリコンバレーの著名な創業者であるスアレは「収益性の有無にかかわらず、すべてのAI推論価格は1週間で下がるでしょう。ただ見ていてください。すべてのマージンは消滅します。価格による流通の優位性を持たせることはできません。焦土作戦により、最終的にはアプリケーション層が勝利することになります。」
そしてそれが重要です。アプリケーション層、インテリジェンスのコストは本当にゼロに向かっているのです。これはオープンソースコミュニティだけからではありません。サム・アルトマンも同じことを言っています。インテリジェンスの単価は大幅に下がるでしょう。
デイブ・フリーマンは「NVIDIAにとって悪いニュースのように見えますが」と言い、スアレは「彼らにとって素晴らしいことになるでしょう。」と返信しています。そうです、コストが下がっても、特にコストが下がるからこそ、私たちはより多くの計算能力を使用することになるでしょう。
しかし、Deep seekが達成したことを信じない人々もいます。私はそうは思いませんが、イーロン・マスクからの発言を含め、いくつかの見解をお見せしたいと思います。基本的に、Deep seekは嘘をついているということです。
しかし、最初に紹介したい陰謀論は、実際に理にかなっているかもしれません。真偽は分かりませんが、ある意味で理にかなっているように思えます。
Deep seekの親会社である中国のハイフライヤーはヘッジファンド、つまり投資を行う会社です。クリス・カミロは「Deep seekの70億ドルのヘッジファンド親会社がNVIDIAを空売りし、500万ドルのトレーニングコストを強調しながらモデルをオープンソース化する決定をしたのではないでしょうか」と述べています。
本質的に、彼らは信じられるほど効率的なモデルをオープンソース化し、市場がこれを見たらNVIDIAの株価は下がるだろうと考えたのかもしれません。もし彼らがそうしたのなら、おそらく史上最高の取引の一つになったかもしれません。しかし、これもまた、これがNVIDIAにとって悪いことだという間違った前提に基づいています。なぜなら、そうではないからです。これは良いことなのです。
陰謀論の側にいるニキータ、これは本当の陰謀論ではなく、私もある程度信じていますが、この程度ではありません。「注意：米国のテクノロジー企業はあなたのデータで金持ちになりたいだけですが、中国共産党という国家はあなたを殺すためにデータを欲しがっています。」
チャンネルの親しい友人であるチャビーがXに投稿したものをご紹介します。彼はフォワードフューチャーニュースレターのライターで、様々なAIトピックについて信じられないほど深い考察を行っています。最新のAIトピックについて常に最新情報を得たい場合は、ぜひforwardfuture.aiでチャビーの記事をご覧ください。本当に素晴らしい内容です。
彼は次のように投稿しました。億万長者でスケールAIのCEOであるアレクサンダー・ワンは「Deep seekは約5万台のNVIDIA H100を持っていますが、現在の米国の輸出規制のために、それについて話すことができません」と述べています。前回のビデオでも話しましたが、イーロン・マスクは「明らかに」と返信しています。
彼は、彼らが真実を語っておらず、実際には彼らが言っているよりもはるかに多くのGPUを使用したと信じています。イーロン・マスクは、彼が競争相手とみなすものについて、かなりネガティブな見方をすることで知られていますが、真実かもしれません。私には分かりません。
しかし、すぐに分かるはずです。すべてがオープンソースで、レシピは公開されており、今まさに再現されているところです。
セールスフォースのCEOであるマーク・ベニオフがDeep seekについて投稿し、ロイ・エイブラムスは「マーク、あなたはこれが少ない予算で行われたという主張を額面通りに受け取っているのですか」と言い、イーロン・マスクは再び「笑」と返信しました。イーロン・マスクは一瞬たりともそれを信じていません。
最後に、このトピックに関するミームをご紹介したいと思います。ミームの出来が信じられないほど素晴らしかったからです。
これがグローイング・ダニエルです。「金融の人々は『お前らオタクがそんなに金が必要だって言ってたのは嘘だとわかったぜ』って感じです。」これはとても面白いですね。
ここに別のものがあります。先週、OpenAIがOperatorをリリースしたことを覚えていますか？ちなみにそれは信じられないほど素晴らしく、エージェント的な未来は非常に期待できます。でもこれは面白いです。
サム・アルトマン「Operatorへの人々の反応を見ていると、ChatGPTのローンチを思い出すな」
ザム「Operatorって何だよ」
Deep seek「デェース・ナッツだぜ、ブラザー」
「やられた！」
cheddar flowからの別の素晴らしいものです。「彼らはDeep seekに騙された。コールをさらに2,000万ドル分買おう」これはナンシー・ペロシで、政治家でありながら市場を大きく上回るパフォーマンスを上げることで知られています。そして、私が言ったように、市場は今日大幅な下落を記録しています。
これはautism Capitalです。「Deep seekと呼ばれる理由は、誰もが深くマクドナルドでの仕事を探すことになるからだ」そして暗号資産が下がるたびに、ここで見られるように、それは「マクドナルドでまた働かなきゃ」というミームになります。
そして最後のミームをご紹介したいと思います。これは必ずしも面白いというよりは、真実だと私が思うからです。OpenAIの取締役会メンバーであるアダム・ダンジェロが共有したものです。
左側は「AGIがGPUの需要を促進する」という単純な見方です。
中央は「Deep seekの効率性がGPUの需要を減少させる」という多くのアナリストの本当に怒っている見方です。
そして右側のジェダイ、賢明な人々は「より安価なAGIがさらにGPUの需要を促進する」と考えています。私も完全に同意見です。
このビデオを楽しんでいただけた場合は、いいねとチャンネル登録をご検討ください。次回の動画でお会いしましょう。
コメント