今週の初めにGTC 24ということで、NVIDIAの非常に大きな発表がございました。B100という
GTC、これは何の名前ですか。
カンファレンスの名前です。そうですね。NVIDIAが主催する、カンファレンスの名前でございますね。2回行われますけれども、ここで今回非常に大きなハードウェアのアップデート、これまでH100と言われていたGPUのアーキテクチャーから、最新のB100というブラックウェルという世代のものが発表になりました。
まだ市販されてくるのはまだ結構先になります。今年の年末とかになってきますけれども、今回のB100の発表を見てですね、おそらく相当数の生成AI用の、特にインファランスのプロジェクトの開発を延期ないし、キャンセルせざるを得ないというぐらい、圧倒的なものでございました。
なんでですか。どういうことですか。
性能がですね、非常に大きく高められて、価格は据え置きぐらいの感じなんですけれども、
もう今やっているプロジェクトが全部無駄になってしまうぐらい、次のやつをしないといけないような
大きな性能の引き上げというのがなされた。
ああ、そうですか。それはちょっとすごいですね。H100が無駄になる。
無駄にはならないんですけれども、当然ながら同じような価格でB100が出てくるということになりますと、
それほど次がすごいということなんですね。
そうですね。大きな変更点というのが、これまでNVIDIAはGPGPUのところはモノリシックの非常に巨大なダイを1個だけ使っていて、その周辺にHBMを配置してきたんですが、AMDが先んじて、メインのGPUのダイを2つ、デュアルダイで接続してその周りに8個のHBMも置くというものをMI300、MI300Xということで発表しておりました。
今回NVIDIAのB100もそれに倣った形で、同じような構成になっているということではあるのですが、さすがNVIDIAというところは、今回その反導体のパッケージのところ、もちろんCoWsという技術を使って、TSMCのCoWsというパッケージング技術を使ってやっているわけですが、その中にまず詰め込めるだけ詰め込んで、ダイとダイの通信速度もHBCDから3.6TBPSという非常に高速な帯域を保持しつつ、今度はパッケージ間の通信はNVLinkというものがあったわけですが、これも最新の世代になっていきなり1.8TBPSという帯域まで引き上げられています。
今度そのパッケージを2つとCPUと組み合わせてGB200というプロセッシングノードができるわけですが、冷却を水冷にすることによって1つのラックに18筐体を詰め込むという、かなりの荒技に近いと思うんですが、そういうところまでやってきている。
それからネットワーク関係もですね、そのスイッチのチップも刷新されまして、簡単に言いますと、そのB100の世代に合わせてあらゆる技術が全部刷新された結果、トータルのスーパーポッドと言われるような製品、それからそれを組み合わせた、大掛かりなサーバーのシステム、これがもうトータルで非常に性能が最適化されたものになってきているということで、一般の生成AI用のインファランスチップを開発しましょう、あるいはトレーニングチップを開発しましょうと言っている人たちにとっては、ここまでやられたらちょっと手も足も出ないなぐらいのインパクトがあります。
水冷っていうのは、なんかチップの中に、中をチューブがあるわけですか。
そこを水を設計して流すようにしてくださいという形な。
相当細いチューブでいっぱい圧力かけないとなんか通ってかない感じですかね。
そうですね。管の中を液体を通しますと圧力損失というのが必ず生じまして、当然管の径というのは数mmのサイズしかございませんので、流せる量はかなり限りがあるんですけれども、今回B100に関しては1つのGPGPUで1000Wと言われているんですが、実際は1200Wぐらいなんだろうという話もあります。
GB200というGPGPU2個とCPUの組み合わせは、少なくとも2700W、ほとんどもう3000W級になってくるんですが、これまでのちょっと前の空冷のタワーサーバーラック1台が1つのブレードサーバーに、熱量的にはその詰め込まれてしまうぐらい高密度の熱量になっているという状況ですね。
これを見てですね、1つ非常に大きく感じるところがあったのが、NVIDIAがApple化してきてるなと。
どういうことですか。
これまでNVIDIAというと、そのGPUのグラフィックスカード、GPGPUも含めなんですが、これを主に展開する会社であったところから、H100の世代からもそうでしたけれども、DGXと言われるような形でシステムでも提供するようになりました。
今回ですね、その冷却も水冷にしたことによって、タワーサーバー全体がもう1つのパッケージングになってます。デルとかヒューレットパッカードとか、あるいはレノボとかという会社が独自のデザインをそこに新たに加えていくことがもう非常に難しくなって、完全にハードウェアの囲い込みが進む。そのGAFAMにしてもNVIDIAのGPGPUを使う限りにおいては、もうタワーサーバーごとNVIDIAからもう調達するのが1番確実で、多分NVIDIAもそこに価格戦略も含めて、もうそれが経済合理性が1番いい形で出してくるとすると、もうAppleと同じようにそのハードウェアの垂直統合がどんどんどんどん進んでくると。加えて、今回ですね、NVIDIAはソフトウェアの方まで大きく手を出しました。
なんかAIの論文かなんか出してたりして、かなりデカい動きやり出したなと思うんです。
そうですね。NIMというNVIDIA Infrastructure Microservicesというのを立ち上げまして、これはもういろんなインファランスモデルをあらかじめハードウェアとセットで用意しますと。いろんなアプリケーションもあの早速提供され始めたということでございますが、いろんな領域でもソフトウェアもNVIDIAが全部提供してきますと。これは多分そのうちApp Storeと同じようなことになるんじゃないかなと。
ちょうどあれですね。最近ニュース出てましたね。アメリカの司法局がAppleを提訴したというような、独占禁止法、アンチトラスト法で。結局何かを抑えて企業が巨大化すると、周辺も全部抑えようとして、さらに巨大化していくと。
そうそうそう。あと他のGPUに対してCUDAを使うなよみたいなことも言ってましたね。
だからそれは確かにApple化っていうのはうまい言い方だという感じはしますね。
B100自体が非常に今回のパフォーマンスリープが大きかったことに加えて、ハードウェアの垂直統合がどんどん進んで囲い込みが進んでいくということになると、今でもNVIDIAの寡占状態っていうのは非常に高い市場占有率なわけなんですが、これがさらに極端に進んでいくのかなという印象を持った次第です。
すいません、GPGPU自体のそのパッケージの大きさってのは、H100から変わってないんですかね。
いや、変わってます。これはTSMC社のCoWoSが進化した分ですね、2回りぐらい大きくなって。
その冷やすの心配なくなると大きくできるみたいなこともあるってことですね。作る方の技術で大きくできたってことですね。
そうことですね。ただ逆に、ここから先実はあの次にX100というのが予定されていたりするわけなんですが、ちょっとNVIDIAはですね、これまでのような速度ではGPGPUの性能上げにくくもなってしまうかなと。
まさにここから先はTSMCのCoWoSのパッケージサイズの制約の中で縛られてしまう。これまでNVIDIAはですね、保守的にその時に活用可能な半導体のプロセスノードもそうですし、CoWoSのパッケージングサイズもそうですし、HBMの世代もそうなんですけれども、あるいはダイ間通信の帯域もそうなんですが、必ずしも最先端のものを取り上げてこなかったんですね。
これはいろんな理由があるんだと思いますけれども、従ってまだ次の世代で性能を相当上げる余地というのが残ってたと思うんですが、今回ある意味でCoWoSのパッケージサイズに関しては、向こう2、3年これ以上ちょっと大きくできないんではないかというところまで目一杯広げて最先端を採用してしまった。
最先端を採用してしまったからしばらく伸び代がないぞっていう感じですかね。
はい。あとはですね、その今N4というTSMC社の4nmのプロセス、4Nという呼び方にはなってますが、事実5N世代のプロセスになってるんですが、これが3nmの世代までは行くんですが。2nmはまだ誰も量産できてなくて。
だけどプロセスルールの先々は0.7nmまでやるぞって言ってますよね。
だからそこでまた集積度上げるっていう方向の進化の可能性はあるってことですね。
あるんですけれども、実は5nmから3nmに行く時に、7nmのから5nmのに進んだほどトランジスターの集積度も上げられてないんですね。5nmからN3、今のN4とほとんど同じところからN3に次のX100で行ったとしても、これまでのようにはトランジスターの集積度は上がらず、クロックもそれほど上げられず、消費電力効率もそんなに上がらないということで。
そんなもんなんですか。でなんか歩留まり悪くなって値段上がりみたいななったら、あんまり嬉しくないですね。
そうですね。実はその通りで、コストパフォーマンス的なこれからの上乗せがすごく難しくなるところには入ってしまって。
そうですか。このB100は量産はまだまだ今年末ぐらいになるってけど、試作品みたいなのもうできてて、ちゃんと動いてるってことですか？
NVIDIAの社内ではあの動いてるものがあって、各社も大手のところにはもう動いてるサンプルが確実に届いてると思いますけれども、一般に市場に出てくるのは今年の年末ぐらい待たないといけない。
メタ社とかなんかもH100を20万個ぐらい今年中に買うぞって言っただけど、やっぱり待ってよとか言うんですかね。
H100の需要はまだまだ旺盛で、数月前にはB100が出るというスケジュールがあってスペックも全部出てたんですが、それでも各所H100を
売れなくなって困るってことはないんですね。
値段も高いんでしょ？
3万ドルから4万ドルという風に言ってまして、H100からそれほど上がっているわけではないというところで。
ほぼ来年分はもう売り切れてるという話も。GAFAMなりテスラなりは、もう全部買っていると、予約を入れてると思いますし。
なんかNVIDIAは日本に対しても日本もLLM開発すべきだよとか言ったみたいだけど、だったらGPU寄こせよっていう言い返したくなりますよね。
そうですね。
なるほど。結構重要なニュースですね。注目していきたいという風に思います。ありがとうございました。
コメント