4,465 文字
私は株式市場がDeep Seekを見て、「なんてこった、ここに高品質なAIをはるかに広く、はるかに安価に提供する方法を見つけた企業がある。だから、OpenAIのような企業の価格性能比はどうなるのか、突然とても安価に作れるようになったのに、どうやってその費用を正当化するのか」と考えていると思います。そしてジェヴォンズのパラドックスは、現在Nvidiaやマイクロソフトを空売りしている人々全てに対する重要な答えを持っています。基本的に、何かが安くなればなるほど、人々はそれをより多く欲しがるということです。
ジェヴォンズの観察は実際に産業革命まで遡り、蒸気機関がますますエネルギー効率を上げていることを指摘しました。しかし、私たちはますます多くの石炭を使い続けています。なぜなら、エネルギー効率が上がると、それまでは経済的に正当化できなかった用途でも石炭を使用できるようになるからです。
コンピューティングでも全く同じことが言えます。1フロップ、つまり1回の計算操作のコストは、コンピュータを最初に発明した1950年代以降、おそらく20兆倍も下がっています。しかし、私たちはコンピュータをより多く使っているのでしょうか、それともより少なく使っているのでしょうか？企業はコンピュータの販売でより多くのお金を稼いでいるのでしょうか、それともより少なく稼いでいるのでしょうか？ここでの基本的なポイントは、マイクロソフトにとってAIが非常に安価になってよかったということです。なぜなら、私から購入したいと思う人々の universe が最後の瞬間に広がったからです。
ところで、これはエネルギー企業にとって何を意味するのでしょうか？下落しているのはビデオだけではありません。私たちがこれまでそれほど多く話してきた星座やその他のものも下落しています。クリーンで再生可能なエネルギー。
もしジェヴォンズが正しければ、原子力になるのでしょうか？高価なエネルギーはまだ必要なのでしょうか？それは価格の同じような低下です。いいえ、エネルギーに適用される全く同じ現象です。10年前を振り返ってみると、データセンターの米国の電力需要に占める割合はどれくらいでしたか？そうですね、ほとんどありませんでした。
しかし、コンピューターチップがより強力になり、アルゴリズムがより効率的になったまさにその時、突然データセンターは実際に米国の電力網のかなりの部分を占めるようになり、今では更に多くを消費しようとしています。まあ、効率の向上は既にその物語の一部でした。
今日のNvidiaチップは、10年か20年前のNvidiaチップと比べて文字通り1万倍も効率的です。そして、より効率的になり、計算単位あたりのエネルギー使用量が減少すると同時に、その計算の追加的な使用事例ごとに、経済的およびビジネス的な事例をそれだけ魅力的にしているのです。
私は認めざるを得ませんが、これは全体的にかなりポジティブに聞こえます。では、この具体的なケースと、なぜウォール街がこれほど動揺しているのかについて話しましょう。Deep Sea。600万ドルの資金でこれが実現したと聞いています。それは不可能なのでしょうか？本当なのでしょうか？
そうですね、どの部分の話をしたいかということですが、この特定のモデルトレーニングの実行、つまりAIモデルをトレーニングする際に、その1回の実行でどれだけの計算を使用したかということですね？はい、それは600万ドル相当の計算でした。しかし、うまくいかなかった他のモデルトレーニングの実行もすべてあります。Deep Sixがそれがコストだと言った時、彼らは研究開発全体の計算コスト、このモデルを作るために行われた全ての作業が600万ドルだとは言っていません。
彼らが言ったのは、この1回の個別のトレーニング実行が600万ドルだったということです。ここでもう一つ注目すべき点は、なぜみんながこれほど興奮しているかの一部の理由は、これが推論能力を持つモデルだということです。これは昨年9月にOpenAIがo1シリーズのモデルで発表した進歩です。Deep Seaが証明したのは、かなり decent なベースモデル、GPT-4のようなものを推論モデルにアップグレードすることは、報道で広く理解されていたほどには計算集約的ではないということが判明しました。しかし、大手AI企業のOpenAI、Anthropicの内部では、彼らは既にこれら全てを知っていました。彼らは既にこれら全ての恩恵を受けていました。
Sam Altmanが2024年12月にベンチマークを圧倒的に上回っていた最も進んだカテゴリーモデルであるo3について、そのモデルの使用を無料で提供するコストについて語ったことを思い出してください。つまり、コストは Deep Sea だけでなく、誰にとっても下がっているのです。
Deep Seaが行っているのは、アメリカのAI企業が既に恩恵を受けていた一連の研究を複製することです。彼らはただそれを大々的に、公に共有していなかっただけです。分かりました。この企業はNvidiaのチップを手に入れたのでしょうか、それとも私たちが見たことのないような方法でポップコーンチップを積み重ねて車輪を再発明したのでしょうか？
この企業によると、Deep Seaによると、彼らはNvidiaのチップを使用したとのことです。しかし、彼らは特にNVIDIA 800チップを使用しました。私のような、ワシントンの輸出規制の議論、ワシントンの輸出規制政策を注意深く見ている人々は、2022年10月、それはバイデン政権がこのAIチップ制限輸出規制戦略を開始した時期であることを覚えているかもしれません。
しかし、彼らは性能のしきい値を間違えていました。彼らは、Nvidiaチップの2世代前のものを買わなければならないと言っていると思っていました。しかし、Nvidiaが発見したのは、実際には最高クラスの既存のチップにこの1つの調整を加えれば、実際には合法的に販売できるということでした。つまり、バイデン政権が中国に50%か60%の性能ペナルティを課していると考えていた一方で、実際には10%程度の性能ペナルティしか課していませんでした。そして、2022年10月から2023年10月までの1年間、これらの800チップを無制限に販売することは合法でした。
これが全ての話です。これがこの話です。輸出規制には遅延効果があります。販売を停止したからといって、中国に既にあるものが魔法のように爆発するわけではありません。彼らは既に購入したものを持っています。そしてこの場合、私たちは2020年10月の輸出規制アーキテクチャの設計の失敗に直面しています。今年後半には、10月23日のアーキテクチャ、2024年12月のアーキテクチャの成功物語を経験し始めることになります。そしてそれはDeep Sixの CEOの口から出てきました。
彼は言いました。私の会社が直面している最大の課題は米国の輸出規制だと。バイデンと習近平が外交政策の問題について会談する時、私はバイデン政権の関係者からこれを何度も聞いていますが、習近平は話題をこれらの輸出規制に戻し、なぜそれらを直ちに撤廃する必要があるのかと主張します。
彼らが機能していないから撤廃を求めているのではありません。彼らが機能しているから、重大なコストを課しているから撤廃を求めているのです。この新しいDeep Seaのモデルリリースを支える正当な技術革新が全くないと示唆したくはありません。ここには本当に印象的なものがあります。
アメリカの研究所で働く人々はこれらの論文を読んでいます。彼らは使える革新を見ています。しかし、アメリカが確保できる持続的で複製が困難な優位性と、中国が確保できる持続的で複製が困難な優位性について考えてみてください。このDeep Silkモデルで表現されているアルゴリズムの革新、アーキテクチャの革新の全て、その100%はアメリカのAI企業が利用できます。彼らは新しい革新を全てコピーできます。
対照的に、アメリカ企業が持つ計算上の優位性は、中国企業はコピーできません。なぜなら、彼らはチップを作ることができないからです。興味深いですね。あなたの話を聞いていて、あなたが私に話してくれる全てのことに驚いています。そして、なぜ今日これらの株が下がっているのか不思議に思います。
まあ、Nvidiaの買い事例を主張する際に、私が言いたいのは、長期的には株式市場は真実に基づいていますが、短期的には時にはバイブス（雰囲気）に基づいているということです。そして今日のバイブスはかなり悪かったというのが私の強い印象です。これはBlackwellの話ではありません。
RUBINの話でもありません、そうですよね？私たちはDeep Seaの話をしているのです。そしてこれは正当に重要です。これは人々が可能だと考えることについてのアップデートですが、業界で生きている人々にとっては馴染みのあるアップデートです。現在、私たちはGPT-4をベースモデルとする世界に生きています。
o1は一種の推論モデルのアップデートです。しかし、私はGPT-2が出た時を覚えています。それはスーパーコンピュータでトレーニングされ、今は私のラップトップで動作します。そして私はGPT-3が出た時を覚えています。それもスーパーコンピュータでトレーニングされ、今は私のラップトップで動作します。つまり、ここでのポイントは、パラダイムの本当のアップデートはないということです。
コンピュータはスーパーコンピュータから始まり、個人用デバイスで終わります。これは第二次世界大戦中にアラン・チューリングが最初のコンピュータを発明して以来、文字通りのトレンドです。より速く、より小さく、より安価になります。しかし同時に、私たちはどのような持続的な競争優位性を作り出すことができるのかを自問する必要があります。そして、私たちが閾値の瀬戸際にいることを指摘する価値があると思います。
Sam Altman自身が昨年初め、彼のモデルのパフォーマンスは「せいぜい軽度に恥ずかしい」レベルだと言いました。そして彼は世界で最高のものを持っていたのです。しかし重要なのは、私たちはおそらく1年後、あるいは数年後には、AIモデルがグローバル経済の多くの異なるタスクを実行でき、場合によっては世界的な専門家レベルよりも優れた能力を発揮できるようになる閾値に近づいているということです。つまり、私たちはいくつかのことに有用で、いくつかのことに楽しい段階から、多くのことに驚くほど有用な段階への閾値に近づいているのです。そしてその閾値を最初に越える企業や国々は、驚くべきファーストムーバーアドバンテージを持つことになるでしょう。
コメント