11,680 文字
AIつまり人工知能について人々が抱える大きな懸念の1つに、環境コストと具体的には電力コストの問題があります。言い換えれば、AIに膨大な電力を使用することで、私たちが家を暖めたり、自分のコンピュータを動かしたりするための電力が不足するのではないかということです。しかし、CESでジェンセン・ファンが発表したものが未来の前触れだとすれば、AIは自身の環境コストを削減し、最終的には環境を害するのではなく、むしろ助けることになるかもしれません。
みなさん、Dr. know-it-allです。ジェンセンは1週間ほど前に基調講演を行いました。私は非常に忙しかったのですが、この講演を見ました。実はファルザドとデビッド・カーボットに感謝しなければなりません。彼らがジェンセンのスピーチから一時停止や拍手などを全てカットしてくれたおかげで、私たちは本質的な内容だけに集中できます。私はスピーチのほんの数分だけを紹介します。もちろん説明の中で全体へのリンクも共有しますので、ぜひご覧ください。これはパズルの一片に過ぎませんが、私にとって特に興味深い部分でした。
このセクションで、派手な黒のジャケットを着ているジェンセンは、通常は黒いレザージャケットを好んで着用しますが、今回はそれほど派手なものではありません。しかし、ラスベガスにいるのだから、少しドレスアップしても良いでしょう。とても豪華なレザージャケットですね。このセクションで彼は、具体的にゲーミング用GPUについて話しています。これは当然、消費者向けゲーミング用GPUに基づいてAIの環境への影響を考えることについて、なぜ私が注目するのかという疑問を投げかけます。では、このクリップを見て、その後で私の理論的根拠を説明しましょう。きっと理解していただけると思います。
人工知能は今、GeForceを革新しています。本日、私たちは次世代のRTX Blackwellファミリーを発表します。これが新しいGeForce RTX 50シリーズです。Blackwellアーキテクチャを搭載したGPUは文字通り野獣です。920億のトランジスタ、4,000 TOPS、4ペタOPSのAI処理能力を持ち、前世代のAdaの3倍の性能です。380レイトレーシングテラフロップスです。
ここで一旦立ち止まって、このスペックを見てみましょう。これは消費者向けの野獣的な製品です。サーバーサイズの巨大なものではありませんが、4,000 AI テラオペレーション/秒という非常に印象的な性能を持っています。これは特にAI向けの性能です。主にゲームなどでの使用を考えていたとしても、これは家庭用コンピュータのためのAIビーストとなるでしょう。
また380レイトレーシングフロップスを持っています。これについては後で詳しく説明しますが、基本的に画像を描画する方法です。私が教えている3Dアニメーションクラスを受講したことがある人なら、レイトレーシングが何かを正確に知っているでしょう。物理的な現実を逆転させるようなもので、基本的にはあなたの目から、カメラからレイを発射して、物がどこにあるかを計算します。これは今日のインタラクティブなゲームや複合現実セットアップなどが作られる方法です。380テラフロップスのレイトレーシングは本当に驚くべきものです。
さらに125シェーダーテラフロップスも搭載しています。これらは本当に途方もない数字です。このチップには920億のトランジスタが搭載されており、これも完全に常軌を逸しています。毎秒1.8テラバイトのメモリ帯域幅を持っています。つまり、チップ全体で非常に素早くデータを交換できるということです。もし私のテスラがイーサネット帯域幅の制限を破ったというエピソードを見ていない方は、ぜひそちらもチェックしてください。さらにAI管理プロセッサも搭載されています。
これらは全て本当に印象的なスペックですが、重要な部分は後で出てきます。続けましょう。
計算する必要のあるピクセルに対して、可能な限り美しい画像を計算することができます。もちろん125シェーダーテラフロップスがありますが、実際には同時シェーダーテラフロップスと、同等の性能を持つインガーユニットもあります。2つのデュアルシェーダーで、1つは浮動小数点用、もう1つは整数用です。マイクロンのG7メモリは毎秒1.8テラバイトで、前世代の2倍の性能です。
今や私たちはAIワークロードとコンピュータグラフィックスワークロードを混在させることができます。この世代の素晴らしい点の1つは、プログラマブルシェーダーが現在ニューラルネットワークを処理できるようになったことです。シェーダーがこれらのニューラルネットワークを処理できるようになり、その結果、私たちはニューロテクスチャ圧縮とニューロマテリアルシェーディングを発明しました。その結果、AIを使用してテクスチャを学習し、圧縮アルゴリズムを学習することで、非常に素晴らしい画像を得ることができます。
ここでは多くのことが述べられています。第一に、このグラフィックスカードの多くの部分をCudaを通じてプログラム可能にしています。興味深いことに、物事がどのように見えるかを計算するシェーダー部分、つまりこのサーモンカラーやカップの鏡面ハイライト、もし私がコンピュータグラフィックスでレンダリングされていた場合の私の顔など、そういったものを計算する部分が、AIニューラルプロセッサとしても機能します。
これは実際にとても理にかなっています。なぜなら、シェーダーの計算とニューラルネットワークの計算は非常によく似ているからです。ここでその詳細な説明は避けますが、私を信じてください。
本当に興味深い部分は、彼が最後の方で言及したことです。これによってAIがシェーダーやGPUで行われる他の操作を圧縮することが可能になると述べました。圧縮は私が以前から話している topics の1つです。インテリジェンスは本質的に圧縮であると話してきました。つまり、あなたがより知的であればあるほど – ここで私は人間対犬対リス対バクテリアなどの比較をしていますが – 周りの世界を圧縮し、その情報を使用可能な形式に変換して保持し、その世界でより高いレベルで機能する能力が高まります。
これは大規模言語モデルが行うことであり、拡散モデルが行うことであり、生成AIが行うことです。そして、これは彼がこのグラフィックスカードについても言及していることです。彼はこれについてさらに詳しく説明を続けます。
Blackwell 59は、機械設計でさえも奇跡的です。ご覧ください、2つのファンを備えており、このグラフィックスカードは巨大な1つのファンのようなものです。価格は1,599ドルで、最高の投資の1つと言えるでしょう。1,599ドルで、1万ドルのPDCエンターテインメントコマンドセンターに持ち帰ることができます。そうですよね？違うとは言わせません。液冷で、あちこちに派手なライトがついていて、完璧に理にかなっています。そして今、1,599ドルで、それをアップグレードしてターボチャージすることができます。
Blackwellファミリーで、RTX 570は490の性能を549ドルで提供します。人工知能なしでは不可能です。4 TOPSの4テラOPSのAIテンソルコアなしでは不可能です。この部分に注目してください。ここで彼は、このものの価格を3分の1に削減できると話しています。1,600ドルから550ドルまで下がっているのです。これは非常に印象的なコスト削減です。もちろん、より高価なモデルもありますが、同じ性能をはるかに低価格で手に入れることができ、これはAIのおかげです。彼が話す詳細を聞いてみましょう。
G7メモリを搭載しているため可能になりました。5070は490の性能で549ドル、そしてここに5070から5090までの全ファミリーがあります。5090は4090の2倍の性能です。もちろん、私たちは大規模な生産を行っており、1月から入手可能です。
信じられないことですが、これらの巨大な性能を持つGPUをラップトップに搭載することができました。これは1,299ドルの5070ラップトップです。この5070ラップトップは490の性能を持っています。想像できますか？このすごいBlackwellグラフィックスカードを縮小してそこに入れることができたのです。人工知能なしではできませんでした。その理由は、私たちはテンソルコアを使用してほとんどのピクセルを生成しているからです。必要なピクセルだけをレイトレースし、他のすべてのピクセルは人工知能を使用して生成しています。
まず、スペックを振り返ってみましょう。彼は、ラップトップのゲームなどで同じ性能を得るために必要な電力を半分に削減できたと述べました。これは私が環境コストについて話し始めたことです。これは特にGPUに関することですが、このセグメントの最後で少し拡張して推測してみましょう。
これ自体が意味するのは、ラップトップで以前の半分の電力で同じ性能を得られるということです。これは年間数十万台が販売されることを考えると、実際に環境への影響があります。
これはどのように実現されているのでしょうか？これはAIを通じて行われています。彼はレイトレーシングについて話しています。従来のゲームでは、画像の各ピクセルすべてをレイトレースする必要がありました。ジェンセンがこれらのチップやラップトップを持っている画像をゲームで生成したい場合、従来であれば各ピクセルをレイトレースする必要がありました。
もちろん1080pであれば、それは多くのピクセルになります。1920×1080で約270万ピクセルがあり、それを1秒あたり60フレームで掛け合わせると、膨大な計算能力が必要になります。これは非常に困難で、大量の計算を必要とします。
しかし、もしこれを回避できたらどうでしょう？画像の10%や15%程度だけをレイトレースし、残りをAIで埋めることができたらどうでしょう？こうすることで、はるかに少ない電力で済むことが分かり始めます。すべてのピクセルをレイトレースするための電力を必要とする代わりに、その一部だけを処理し、基本的に残りをAIで埋めることができます。これは本当にクールで、異なる未来を示唆しています。現実をブルートフォースで処理する代わりに、現実を圧縮してごまかすことができる場所です。
その結果、エネルギー効率は驚異的なものとなっています。コンピュータグラフィックスの未来はニューラルレンダリングであり、人工知能とコンピュータグラフィックスの融合です。本当に素晴らしいのは、ここに搭載するGPUファミリーです。90は薄型ラップトップに搭載できます。最後のラップトップは14.9mmでした。5080、5070 TI、570を搭載できます。
では、RTX Blackwellファミリーについてお話ししましょう。GeForceは世界にAIをもたらし、AIを民主化しました。そして今、AIが戻ってきてGeForceを革新しました。
人工知能について話しましょう。業界はAIのスケーリングを追い求め、競争しています。スケーリング則は強力なモデルです。これは研究者や業界が数世代にわたって観察し、実証してきた経験則です。スケーリング則は、より多くのトレーニングデータを持ち、より大きなモデルを持ち、より多くの計算を適用すると、モデルはより効果的に、より高い能力を持つようになると言っています。そしてスケーリング則は続いています。
本当に素晴らしいのは、インターネットが毎年、前年の約2倍のデータを生成していることです。今後数年で、人類は人類史上生み出されたすべてのデータよりも多くのデータを生成すると思います。私たちはまだ膨大な量のデータを生成し続けており、それはよりマルチモーダルになっています。ビデオ、画像、音声、そのすべてのデータがAIの基本的な知識、基礎的な知識のトレーニングに使用できます。
しかし、実際には他に2つのスケーリング則が出現しています。これはある程度直感的です。2番目のスケーリング則はポストトレーニングスケーリング則です。ポストトレーニングスケーリング則は、強化学習や人間のフィードバックなどのテクニックを使用します。基本的にAIは人間のクエリに基づいて回答を生成し、人間がフィードバックを与えます。これはそれよりもはるかに複雑ですが、その強化学習システムは、高品質なプロンプトを適度に使用することで、AIのスキルを洗練させます。
ちょっと待ってください。最初の部分、実際のトレーニング部分、これが私たち全員が知っているGPT（生成的事前学習トランスフォーマー）です。この部分は自己回帰的で、インターネットのデータを1兆トークンほど処理し、独自に作業を行い、基本的に言語や現実、ビデオなどの性質を理解する基本的な状態に到達します。
ポストトレーニングは、人間が関与する部分です。強化学習を通じた人間のフィードバック、これは私たちが望む方向に調整する部分です。「この回答とあの回答のどちらが好ましいですか？」というように人間を巻き込みます。このデータの規模、テストの規模は比較的小さいです。なぜなら人間がボトルネックとなり、そんなに速く進めないからです。しかし、私たちはケーキに砂糖衣をかけるようなものを付け加えています。GPTがケーキで、私たちが望むように振る舞うように強化学習で砂糖衣をかけるのです。
そして、現在進行中のスケーリングにとって非常に重要なテスト時の計算に到達します。これは基本的に、「ステップバイステップで考えなさい」と言って、より多くの時間を与えることです。OpenAIのGPT-4oファミリーや、それと競合する他のモデルは、自動的に物事について考えます。単にすぐにトークンを生成するわけではなく、テキストをすぐに生成するわけではありません。しばらく考えてから生成します。これによって彼らは大幅に賢くなります。もしARKチャレンジについての私のエピソードを見ていないなら、ぜひそちらもチェックしてください。
特定の領域のスキルを微調整することができ、数学の問題を解くのが上手になったり、推論が上手になったりします。本質的に、学校を卒業した後にメンターやコーチからフィードバックをもらうようなものです。テストを受け、フィードバックを得て、自分自身を改善していきます。
また、AIフィードバックによる強化学習や合成データ生成もあります。これらのテクニックは、自己練習に似ています。特定の問題の答えを知っていて、正解するまで継続して試行します。AIは、機能的に検証可能で理解できる答えがある非常に複雑で難しい問題に直面することができます。おそらく定理の証明や幾何学の問題を解くことなどです。
これらの問題によってAIは回答を生成し、強化学習を使用して自己改善する方法を学びます。これがポストトレーニングと呼ばれるものです。ポストトレーニングには膨大な計算が必要ですが、最終的に素晴らしいモデルを生み出します。
現在、私たちは3番目のスケーリング則を持っています。この3番目のスケーリング則は、テスト時スケーリングと呼ばれるものに関係しています。テスト時スケーリングは基本的に、AIが使用されている時、使用しているときに、AIが異なるリソース配分を適用する能力を持つということです。
パラメータを改善する代わりに、今は生成したい回答を生成するためにどれだけの計算を使用するかを決定することに焦点を当てています。推論はこれについて考える一つの方法です。直接的な推論やワンショットの回答の代わりに、問題について推論し、問題を複数のステップに分解し、複数のアイデアを生成し、生成したアイデアのうちどれが最も良いかをAIシステムが評価するかもしれません。おそらくステップバイステップで問題を解決するといった具合です。
そして今、テスト時スケーリングは非常に効果的であることが証明されています。Chat GPTからo1、o3、そしてGemini Proまで、これらすべてのシステムが示す驚くべき成果を通じて、このテクノロジーの連続とこれらすべてのスケーリング則の出現を目の当たりにしています。これらのシステムはすべて、事前トレーニングからポストトレーニングへ、そしてテストへと一歩一歩進んでいます。
もちろん、必要な計算量は膨大です。社会が計算量をスケールアップして、より新しく、より良いインテリジェンスを生み出す能力を持つことを私たちは望んでいます。インテリジェンスは私たちが持つ最も価値のある資産であり、多くの非常に困難な問題を解決するために適用することができます。
スケーリング則は、このBlackwellと呼ばれる素晴らしいチップに対するNVIDIAのコンピューティングへの巨大な需要を生み出しています。最後に、スピーチの少し前の部分に戻って、NVIDIAのGPUとハードウェア、そして同時に人工知能の進化について彼が話した部分を見てみましょう。
6年後の2012年、アレックス・クリジェフスキーとジェフ・ヒントンがCudaを発見し、AlexNetの処理に使用しました。それ以来、AIは信じられないペースで進化を続けています。知覚AIから始まり、今では画像や言葉、音を理解できます。生成AIでは画像やテキスト、音を生成できます。そして今、知覚、推論、計画、行動ができる一般的なAI、そして次の段階は物理的AIの一部について今夜お話しします。
物理的AIは今夜は置いておきましょう。もちろん、それは車やロボットなどですが、今夜話したいことの範囲外なので、後で必ずまた取り上げることにします。
2018年に素晴らしいことが起こりました。GoogleのTransformerがBertとしてリリースされ、AI界は本当に飛躍しました。ご存知の通り、Transformerは人工知能の景色を完全に変えました。実際、コンピューティング全体の景色を変えました。私たちは正しく認識しました。AIは新しいアプリケーションと新しいビジネスチャンスを持つだけでなく、より重要なことに、Transformerによって可能になった機械学習はコンピューティングの仕組みを根本的に変えようとしていました。
今日、コンピューティングはあらゆる層で革新されています。人間が使用するソフトウェアツールを作成するためにCPUで実行される手書きの命令から、今では機械学習がニューラルネットワークを作成・最適化し、GPUで処理して人工知能を生み出します。テクノロジースタックのあらゆる層が完全に変更されました。わずか12年で信じられない変革です。
私たちは今、ほぼあらゆる種類の情報を理解することができます。テキストや画像、音声などを見たことがあるでしょうが、それらを理解できるだけでなく、アミノ酸や物理学も理解でき、それらを翻訳し生成することができます。アプリケーションは本当に無限です。実際、AIアプリケーションのほとんどすべてについて、入力のモダリティは何か、どのような情報から学習したのか、どのような情報を生成しているのかという3つの基本的な質問を追加すると、ほぼすべてのアプリケーションを推測することができます。
そしてAIドリブン、AIネイティブなアプリケーションを次々と見るとき、その核心にはこの基本的な概念があります。機械学習は、すべてのアプリケーションの構築方法、コンピューティングの実行方法、そしてその先の可能性を変えました。
ジェンセンが話しているように、そして今や明らかなように、AIはウイルスのように私たちが触れるすべてのものに感染しています。それは日々、より多くのものに組み込まれており、その結果として、BlackwellのGPUなどについて話したように、このAIを実行するためにより多くの計算能力が必要になるでしょう。あるいは、現実を何らかの方法で圧縮し、その仮想化された現実と場合によっては他のAIをより圧縮された、電力効率の良い方法で作成することでごまかすことができるでしょうか。これが、ジェンセンがCESの基調講演で話した内容の端に浮かぶ本当に興味深い可能性です。
GeForceはAIを大衆に届けることを可能にし、今AIはGeForceに戻ってきています。コンピュータグラフィックス研究者もコンピュータサイエンティストも、この時点ですべてのピクセルをレイトレースすることが可能だとは言わなかったでしょう。レイトレーシングは光のシミュレーションです。あなたが見た幾何学の量は絶対に信じられないものでした。人工知能なしでは不可能だったでしょう。
私たちは2つの基本的なことを行いました。もちろんプログラマブルシェーディングとレイトレース加速を使用して、信じられないほど美しいピクセルを生成しましたが、その後、人工知能がそのピクセルによって条件付けられ、制御されて、たくさんの他のピクセルを生成します。空間的に他のピクセルを生成できるだけでなく、色がどうあるべきかを認識しているからです。NVIDIAのスーパーコンピュータでトレーニングされており、GPUで実行されているニューラルネットワークは、レンダリングしなかったピクセルを推論し予測することができます。
それだけでなく、DLSSと呼ばれる最新世代のDLSSは、フレームを超えて生成することもできます。計算する1フレームごとに追加で3フレームを予測して生成することができます。
そしてここで本質的な部分に到達します。ここでAIが実際にAIの環境への影響を削減する可能性が見え始めます。考えてみてください。ピクセルの10%だけをレンダリングする必要があり、1フレームのピクセルの10%だけをレイトレースする必要があり、レンダリングする1フレームごとに3フレームを得るとすると、それは1フレームに対して10倍だけでなく、実際にレイトレースするピクセルの量に対して30倍のピクセルを得ることになります。
確かに、その10%を超えて作成した他の30倍のピクセルを作成するには計算コストがかかります。そのためある程度のコストはかかりますが、これらすべてを実際にレイトレースするよりもはるかに低いコストです。それは費用のコストであり、より安価なグラフィックスカードなどを意味しますが、非常に重要なことに、電気代も削減されます。
フルHD 4Kで4フレームと言えば、約3,300万ピクセルです。その3,300万ピクセルのうち、プログラマブルシェーダーとレイトレーシングエンジンを使用して計算したのは200万ピクセルだけです。これは絶対的な奇跡です。AIが他の3,300万ピクセルすべてを予測し、その結果、AIはより少ない計算で処理するため、信じられないほど高いパフォーマンスでレンダリングすることができます。もちろん、それを作成するには膨大なトレーニングが必要ですが、一度トレーニングすれば、生成は非常に効率的です。
これが重要な部分です。あなたは作成時のエネルギーと計算時のエネルギーをトレードオフしているのです。言い換えれば、従来のコードを使用して何かを作成するのにxのエネルギーがかかるかもしれませんが、同じことを行うニューラルネットワークをトレーニングするのに10倍または100倍のエネルギーと時間がかかるかもしれません。しかし、それを100万台のGPUに分散させ、世界中でこれらのGPUを使用するときにそのエネルギーと時間を節約できるのであれば、その報酬を得ることができます。
このニューラルネットワークモデルを作成するために、どれだけ余分なエネルギーと時間がかかったとしても、バックエンドで何度も何度も使用する際にそれが非常に効率的であれば、実際にはそれほど重要ではありません。これは、あるモデルを多く使用する場合、トレーニングのコストは推論のコストほど高くないというルールに戻ります。
言い換えれば、Chat GPT-4やその他のモデルを作成するコストがどれほどであれ、1年間、あるいはそのモデル、またはそのモデルの進化版を6ヶ月、12ヶ月、18ヶ月使用し、毎日それを使用する1,000万人または1億人のユーザーがいれば、トレーニング時よりも推論時の方がはるかに多くの計算を使用することになります。トレーニングがどれほど大規模であっても関係ありません。
そしてここで、AIの報酬を得始めます。AIは実際に、より従来的な方法と比べて環境コストを削減することができます。なぜなら、エネルギーと時間のコストを、推論時、つまりサービスの作成者としてではなく、サービスのクライアントとして実際に使用する時間全体に分散できるからです。
これは人工知能の驚くべき能力の1つであり、そのため多くの素晴らしいことが起こっています。私たちはGeForceを使って人工知能を可能にし、今や人工知能がGeForceを革新しています。
これが今日取り上げたかったプレゼンテーションの部分です。そして、ご覧の通り、ジェンセンは実際にグラフィックスレンダリングにおける計算、そしてそれによるエネルギーと時間などの節約がどれほどあるかについて話しています。しかし、この知的な圧縮をAI自体に投影することができます。
レイトレーシングを例えとして考えると、現在のAIの方法を考えてみてください。トリリオンのトークンを与え、これらすべてのトークンを学習させる必要がありますが、すでに世界のインテリジェンスをそれ自体に大きく圧縮しているモデルがあれば、比較的少量のデータで学習させることができます。これによってトレーニングのコストがかなり削減されます。
そして、はるかに小さなモデルをリリースできるとしたらどうでしょうか。最近私が見たモデルで、確かKokoという名前だったと思います。名前を間違えているかもしれませんが、8,200万のパラメータで、本当に良い音質のテキスト音声変換モデルです。このようにモデルの量、パラメータの量を削減できるということは、それだけ計算量が少なくて済み、エネルギーの面での環境への影響も少なくなります。
ジェンセンはこのCESの基調講演で具体的には話しませんでしたが、人工知能は環境コストの面で自身の最良の友となる可能性が非常に高いことを認識することが重要です。人々は、AIが自身の最大の敵となり、ただただより多くのエネルギーを消費し続けるだろうと考えています。
それはしばらくの間は確かにその通りです。私たちは成長段階を経ているのです。動物や人間などを想像してみてください。彼らは赤ちゃんです。今私たちは赤ちゃんAIの段階にいます。成長して大きくなる間は多くの食事が必要ですが、一旦大きくなってより知的になれば、ある程度それを止めることができます。
例えるなら、カロリー摂取量を減らすことができ、5年、10年、15年、20年後には大人として、必要な電力量を削減でき、それによって地球全体が必要とする電力量を削減することができます。したがって、短期的にはAIは確かに多くの電力を必要とし、基本的に与えられるものは何でも消費しますが、5年や10年、あるいはそれ以上の時間が経過すると、必要な電力量は実際に減少すると私は予測します。
なぜなら、より小さなモデル、より知的なモデルを手に入れることができ、そのためトレーニングにそれほど多くを必要とせず、テスト時にも多くの計算、つまり多くのエネルギーを使用する必要がなくなるからです。もしこれらの予測が正しければ、AIからの環境への影響は増加するのではなく、あるいは環境やエネルギーへの影響が制御不能なレベルになるのではなく、実際に減少することを目にすることになるでしょう。
もちろん、これはすべて良いことだと思えるかもしれません。私は少し楽観的すぎるかもしれません。コメント欄で、これらすべてについてどう思うか、ぜひ教えてください。コメント欄にいる間に、もし良ければいいねと購読をお願いします。1月29日が私の誕生日で、60歳になります。誕生日プレゼントとして購読していただけると嬉しいです。その日までに10万人の購読者に到達できればと思っています。可能性はありますよね。
視聴、コメント、そして時間があれば購読していただき、ありがとうございます。次の動画でお会いしましょう。さようなら。
コメント