3,067 文字
半世紀以上にわたって、進歩はムーアの法則と密接に結びついており、それは計算能力の着実な向上をもたらしてきました。2年前、世界有数のコンピューター企業であるNVIDIAのCEOジェンソン・ファンは、ムーアの法則は死んだと宣言しました。しかし今や彼は考えを改めただけでなく、「ハイパー・ムーアの法則」が到来すると考えています。
「人々がムーアの法則について考える方法、つまり2年ごとに2倍になるという考え方ですが、私たちはハイパー・ムーアの法則のような曲線上にいることになるでしょう。そしてそれが続くことを強く願っています」
この意味について見る前に、Patreonのすべてのサポーター、特にレベル4以上の方々に大きな感謝を申し上げます。皆様のご支援に深く感謝いたします。あなたもPatreonで、またはここYouTubeでチャンネル登録することで支援することができます。
さて、ムーアの法則について話しましょう。これは1965年からあり、Intelの天才の一人であるゴードン・ムーアが、マイクロチップ上のトランジスタの数が約2年ごとに、コストをほとんど上げることなく倍増することに気付いた時から始まりました。
ムーアの法則は、ファンが死んだと宣言した数年前まで、基本的に真実でした。これは主にトランジスタのサイズが物理的限界に近づいているためです。現在はナノメートル規模となり、冷却がますます困難になっています。昨年、私はムーアの法則を前進させる可能性のある新技術について動画を制作しました。光コンピューティング、カーボンナノチューブ、スピントロニクス、量子ドットなどが候補です。しかし、これらはまだ大量生産の準備ができていません。
もしムーアの法則が私たちを失望させたら、AIの爆発的な発展はどうなるのでしょうか？そこでNVIDIAが代わりに行ったのは、ソフトウェアとハードウェアの関係を最適化することでした。ファンはこれを「共同設計」と呼んでいます。その最初の例は、コンピュータの汎用処理ユニットであるCPUと、グラフィックス用に特別に設計されたGPUの区別でした。
NVIDIAは現在、現在最も一般的なタイプのAIに使用されるニューラルネットワークのトレーニングで多用される行列演算用に特別に設計されたGPUも持っています。これらのGPUには「テンソルコア」と呼ばれる追加の論理回路があります。しかし、ニューラルネットワークのトレーニング以外にも、ソフトウェアに基づいて適切なハードウェアを選択したい理由があります。
例えば、現在の計算精度は64ビットです。しかし、ページの一番上に表示する広告を決めるのに64ビットは必要ないかもしれません。これは今日のGoogleで計算されているものの大部分のようです。そこで、問題に応じて計算の深さを64ビットから32ビット、さらには4ビットまで適応させるシステムが欲しくなるかもしれません。
これは計算を加速するだけでなく、エネルギーの節約にもなります。このソフトウェアとハードウェアの共同設計により、より高速な計算とエネルギー節約が可能になります。これがファンが「ハイパー・ムーアの法則」と呼ぶもので、ムーアの倍増法則を上回る性能向上です。
「私たちの希望は、大規模なチップではなく大規模な性能を毎年2倍か3倍にし、コストを2倍か3倍削減できることです。毎年エネルギーを2倍か3倍削減し、毎年2倍か3倍になることで、数年で合計が積み重なり、非常に積極的に複合的に増加します」
そしてNVIDIAはすでに順調です。今年初め、彼らはBlackwellプラットフォームをリリースしました。彼らによると、大規模言語モデルのトレーニングを30倍、シミュレーションを20倍以上加速するとのことです。これは彼らの主張であり、まだ独立したテストは行われていません。その代わり、顧客はチップが過熱していると報告しています。
新プラットフォームの主な特徴は、データ処理を最適に分散できるGPU間の改良された接続です。これをNVIDIAはNVlinkと呼んでいます。「これはNVリンクで、GPUラックの背面全体を通過し、これらのGPUはすべてNVリンクを使用して上から下まで接続されており、これらの信じられないserdesを駆動しています。世界最長の銅serdesを駆動し、これらのGPUすべてを接続します」
このプラットフォームは主に企業レベルを対象とし、AI工場、スーパーコンピューティング施設、大規模科学プロジェクトなどの応用研究向けです。しかし、最終的には私たち全員が何らかの恩恵を受けることでしょう。私が無料の週刊ニュースレターを持っていて、そこに追加のニュースがあることをご存知でしょうか？sabinehossenfelder.com/newsletterで購読できます。
そして、多くの企業がAIトレーニングに特に適したチップも開発しています。これらはニューラル処理ユニット、略してNPUと呼ばれます。興味深いことに、これはNVIDIAが行っていないことです。Intel、AMS、Samsungなどの大企業がNPUに注目しており、いくつかの専門スタートアップも取り組んでいます。
これらのNPUはNVIDIAの主要なライバルの一つになる可能性があります。ちなみに、計算能力が向上しているにもかかわらず、ムーアの法則が製造コストをほぼ一定に保っていたと言いましたが、それは開発後の製造コストでした。研究開発に必要な投資は1960年代から約20倍に増加しており、これは先日話した、私たちがますます研究に力を入れなければならない例の一つです。
そしてNVIDIAがその共同設計を終えたら、誰かが私の電話とプリンターの通信方法を見つけ出すかもしれません。それは素晴らしいことでしょう。私にとって科学は職業以上のものです。それは世界を理解し、問題を解決する方法です。だからこそ、科学を可能な限り簡単で魅力的な方法で学ぶのを助けることを使命とするBrilliantと協力できることを嬉しく思います。
Brilliant.orgは、科学、コンピューターサイエンス、数学の幅広いトピックにわたるコースを提供しています。すべてのコースにはインタラクティブな視覚化があり、フォローアップの質問が付いています。一部には実行可能なPythonスクリプトやビデオも含まれており、小さなデモ実験も用意されています。大規模言語モデルや量子コンピューティングについてもっと知りたい場合。
Pythonでのプログラミングを学びたい、またはコンピューターのメモリがどのように機能するかを知りたい場合：Brilliantがカバーしています。そして毎月新しいコースを追加しています。私もBrilliantで量子力学入門のコースを持っています。波動関数とは何か、重ね合わせとエンタングルメントの違いは何かを理解するのに役立ちます。
また、干渉、不確定性原理、ベルの定理もカバーしています。その後、量子コンピューティングや微分方程式のコースに進むことができます。そしてもちろん、このチャンネルのユーザーのための特別なオファーがあります。brilliant.org/sabineのリンクを使用すると、Brilliantが提供するすべてのものを30日間試すことができ、年間プレミアム購読が20%オフになります。ぜひチェックしてみてください！ご視聴ありがとうございました、また明日！
コメント