2,844 文字
最適なアプリケーションを見つけることが重要です。私たちが議論してきたように、人間の脳の仕組みを見てみましょう。何かを見たとき、網膜は神経系の一部で、これは意外と知られていない事実です。情報は網膜を通して視床外側膝状体に送られ、そこから大脳の後頭部へと伝達されます。
そこでは様々な処理が行われています。錐体細胞と桿体細胞があり、色や形を捉え、それらを個別に処理します。それらを様々な方法で組み合わせ、やがて構造化された表現が形成され、それを記憶と照合して何かを認識し、いわばタグ付けをします。そうして物体などの認識が生まれます。音を聞く場合も同様のプロセスを経ますが、その場合は蝸牛を通じて側頭葉皮質で処理され、聴神経を通る異なる経路をたどります。
私たちの脳は刺激を受けるたびに全体が活性化されるわけではありません。そのような仕組みは非常に非効率的でしょう。従来のニューラルネットワークや、LLaMAなどのアルゴリズムを使用する場合、それらは非効率な脳のように機能し、プロンプトを入力すると、その性質に関係なくネットワーク全体が活性化されます。
DeepSeekは専門家の混合モデルと呼ばれるものを使用しました。これは人間の脳のマルチモーダルな論理をエミュレートし、情報の種類に応じて適切なモジュールを活性化させます。これにより驚異的な効率性がもたらされ、品質も大幅に向上します。これは定着する傾向であり、すでに多くの企業が採用しています。OpenAIも専門家の混合モデルを使用しており、これはDeepSeekの発明ではありませんが、DeepSeekはより効果的に活用しました。
これはアルゴリズムの生成と良好な応答の生成のロジックを大きく変えます。複数のネットワークがあれば、サブネットワークを訓練して高度に特殊化させることができます。例えばGeminiも専門家の混合モデルを使用しており、少なくとも私が見た仮説では – 先週MITで聞いた話ですが – 彼らの専門家の混合モデルでは動画関連の処理が優先されているようです。
これが現代のトレンドの一つとなっており、特定の目的に特化したモデルがますます一般的になっていくでしょう。専門家の混合モデルの影響で、汎用的な単一モデルは少なくなっていくと考えられます。
では明日目が覚めたとき、次のDeepSeekレベルの大きな衝撃は何になると思いますか？効率性の面での衝撃について話していますが、市場を揺るがすような衝撃についてです。
chronologyを理解するために説明すると、トランプが就任した際にStargateを発表しました。これは主にインフラストラクチャーとデータセンターに投資される5000億ドルという巨額の投資計画です。そしてその2日後に中国がこの爆弾を投下したわけです。
ここで一つコメントしたいのですが、DeepSeekが達成した効率性の飛躍的な向上は、実は重要性が低下するわけではありません。サティア・ナデラが最初に言及したジェヴォンズのパラドックスという考え方があります。これは新古典派経済学者の理論で、重要な何かのコストが下がると、その需要が増加し、最終的な出力が上がるというものです。
例えば、AIサーバーは高価なので、ChatGPT Proは月額200ドルですが、これを支払う人は限られています。しかし、インフラが充実して月額2ドルで提供できるようになれば、世界中の人々が使うようになります。AGIであっても月額1000ドルだと、どれだけの人が使えるでしょうか？実際に計算して、その価値があると判断する人は少ないでしょう。
したがって、Stargateプロジェクトは中国のコスト削減によって時代遅れになるわけではありません。むしろ需要は大幅に増加する傾向にあります。
私が見る限り、より重要な点は、誰も議論したがらないようですが、前提として単にGPUを並べることです。例えば、Cerebrasという新しいハードウェアメーカーが、4兆個のコアを持つチップを開発しました。インターネットで確認できますが、これは非常に驚異的なものです。
私たちは、GPUが主要なパラダイムとして疑問視され始めている時代に生きています。例えば、GoogleはTPUを使用していますが、それは関係データベースでの検索や推薦に適しているからです。これはGoogleの検索エンジンの本質的な部分です。
しかし、GoogleのTPUの話を除けば、GPUを使用する世界の外には新規参入者がいて、研究が急速に進んでおり、おそらくビデオカードの代替となるAI処理用の汎用的なものが出てくるかもしれません。
このような大規模プロジェクトでは、基本的に利用可能なものを使用します。そしてそれは大量のNVIDIAのカードということになります。イーロン・マスクは世界最大のAIセンターを建設中で、最終的に100万枚のビデオカードを設置すると発表しています。これは他の誰よりもはるかに多い数です。10万枚でも途方もない数字です。
DeepSeekが実際に何枚のカードを持っているかについては議論があり、5000枚から50000枚の間だと言われています。最も大きな推定でも50000枚です。一般的には5000枚から30000枚の間とされていますが、重要なのはそれがはるかに少ないということです。
しかし、私たちが目にしているパラダイムシフトの中で、本当に100万枚ものビデオカードを互いに接続する必要があるのでしょうか？これが本当にAIの本質的な未来なのでしょうか？私はこの議論をもっと見たいのですが、Stargateの文脈ではこの点について議論されているのを見たことがありません。
なぜビデオカードが現在のような形になっているのか考えたことがありますか？実は、世界中で同じ設定の切断機を使用しているパッケージングという工程があるからです。信じられないかもしれませんが、これが現実です。
標準を変更する必要があるでしょう。政府の観点から見て、高度に発達した豊かな国にいるとしたら、私はインフラに直接投資するのではなく、処理技術のテストに投資するでしょう。AI処理のための技術選択の段階を設けるべきです。私はGPUが最適だとは確信していません。実際、そうではないと思います。
これが私のStargateへの本当の批判です。DeepSeekが不要だということを示したわけではありません。むしろDeepSeekは、これがこれまで以上に必要だということを示しました。地政学的な観点から見ると、世界中のAIインフラストラクチャーのプロバイダーになることは大きな夢です。これはビジネスをより良くするだけで、悪化させることはありません。
しかし、10万、20万、50万、100万枚のビデオカードを使用する巨大クラスターを構築することが、本当に物事がそうあるべき方法なのでしょうか？これが私が少し考えてみたい点です。
コメント