5,724 文字
テスラのイーロンには多くの功績があると思います。まず、サイトを選定し、冷却システムと電力を導入し、そして10万基のGPUスーパークラスターを1つのユニットとして構築することを決断しました。これは世界最大規模のものです。
私たちは一緒に後ろ向きに計画を立て始めました。彼がすべてを稼働させる日付は数ヶ月前に決定されていました。そして、すべてのコンポーネント、OEMベンダー、システム、彼らのチームとのソフトウェア統合、ネットワークシミュレーション、ネットワーク構成などを事前に準備しました。
デジタルツインとして事前にすべてを構築し、サプライチェーンやネットワーク配線も事前に準備しました。さらに、本番環境の前に小規模なバージョン、いわばシステムゼロとなる最初のインスタンスも構築しました。
そして実際の機器が到着した時には、すべてが準備され、練習とシミュレーションも完了していました。それでも、大規模な統合作業は巨大なチームが24時間体制で取り組む記念碑的な作業でした。数週間以内にクラスターは稼働しました。
これは彼の意志の力と、機械的なもの、電気的なものを理解し、一見すると途方もない障害を乗り越える能力を示しています。このような規模のコンピュータがこれほどの速さで構築されたのは初めてのことです。
ネットワークチーム、コンピュータチーム、ソフトウェアチーム、トレーニングチーム、インフラチーム、電気技術者からソフトウェアエンジニアまで、2つのチームが協力して作業を行いました。膨大な量の電子機器を組み立てる様子を見るのは本当に素晴らしい成果でした。
通常、このような規模のスーパーコンピュータシステムは、計画に2年ほどかかります。最初のシステムが納入されてから本格的な作業に使用できるようになるまでに1年かかっても不思議ではありません。
しかし、私たちにはそんな時間的余裕はありませんでした。そこで、数年前に「Data Center as a product」というイニシアチブを立ち上げました。製品として販売はしませんが、計画から稼働、最適化、運用まで、すべてを製品として扱う必要がありました。
テスラの印象的な成長について、テスラ株の強気派や次の株式市場の逸材を見出そうとする鋭い目を持つ人々にとって、Seeking Alphaは最適な情報源です。テスラ、テスラ株価目標、テスラのイノベーション、そしてイーロン・マスクに関する最新情報を提供しています。説明欄のアフィリエイトリンクをクリックして購入すると、当チャンネルに手数料が入る可能性があります。
私が誤解していた、あるいは過小評価していたかもしれないのは、AIと機械学習によって影響を受けている、水面下での画期的な科学、コンピュータサイエンス、工学の活動です。
今日私たちが話しているような種類の仕事が明日を変えようとしているAIと機械学習を扱っていない理論数学部門や科学部門はどこにもないでしょう。世界中のエンジニアや科学者たちの現在の働き方が将来の早期指標であるとすれば、生成AIの津波、AIの津波、機械学習の津波が短期間で私たちの行うすべてのことを変えていくでしょう。
イーロンが構築している驚くべきインフラについても触れました。テスラの完全自動運転システムのバージョン12で本当に革新的なのは、エンドツーエンドの生成モデルであることです。周囲の映像を見ることから学習し、生成AIを使用してエンドツーエンドで運転の仕方を学習します。次の経路を予測し、車の操縦方法を理解し制御する技術は本当に革新的で、彼らの取り組みは素晴らしいものです。
2つの例を挙げましょう。私たちが協力している新興企業のRecursionは、分子の生成、タンパク質の理解、創薬のための分子生成を行うスーパーコンピュータを構築しました。例を挙げればきりがありません。午後中話し続けることもできるほど、多くの分野で人々が認識し始めています。
私たちは今、ほぼあらゆる言語を理解し学習できるソフトウェアとAIモデルを手に入れました。もちろん英語だけでなく、画像や動画、化学物質、タンパク質、さらには物理学の言語まで理解し、ほぼあらゆるものを生成できます。これは基本的に機械翻訳のようなもので、その能力が現在、多くの異なる産業で大規模に展開されています。
テスラは自動運転車の分野で大きくリードしていますが、いつか全ての車に自動運転機能が必要になるでしょう。より安全で、より便利で、より楽しい運転を実現するためです。そしてそのためには、直接ビデオから学習することが最も効果的な訓練方法だということが、今では非常によく知られ、理解されています。
以前は、画像にラベル付けして訓練していました。これは車です、これは標識です、これは道路です、というように手動でラベル付けしていました。それが信じられないことに、今では単に映像を車に入力するだけで、車が自分で理解できるようになっています。
この技術は大規模言語モデルの技術と非常に似ていますが、膨大な訓練設備が必要です。なぜなら、映像のデータ量、データレートが非常に高いからです。自動運転車に使用される物理世界を映像から学習するのと同じアプローチが、大規模言語モデルを物理の世界の理解に結びつけるのに使用されるAI技術の本質です。
Soraのような技術は本当に素晴らしいですし、Googleのその他の技術も素晴らしいです。人間のプロンプトによって制御され、意味のある映像を生成する能力は、映像から学習する必要があります。次世代のAIは物理的AIに根ざし、物理世界を理解する必要があります。
そしてこれらのAIに物理世界がどのように振る舞うかを教える最良の方法は、大量の映像を見せることです。このマルチモーダル訓練能力の組み合わせは、今後数年間で多くのコンピューティング需要を必要とするでしょう。
Blackwellについて言えることは、これがAIにおける大きな飛躍であり、1兆パラメータのAIモデル用に設計されているということです。ご存知の通り、私たちは既に2兆パラメータに達しており、モデルサイズは6ヶ月ごとに約2倍になっています。処理量はモデルサイズとデータ量の間で4倍に増加しています。
これらの大規模モデルに対応するデータセンターの能力は、私たちが提供する技術に大きく依存します。Blackwellは非常に高速な推論用にも設計されています。推論は以前は物事の認識に関するものでしたが、今は情報の生成、生成AIに関するものです。
ChatGPTと会話して情報を生成したり、絵を描いたり、何かを認識して描いたりする時、その生成は全く新しい推論技術であり、非常に複雑で多くのパフォーマンスを必要とします。Blackwellは大規模モデルと生成AI用に設計され、あらゆるデータセンターに適合するように設計されています。
空冷式、液冷式、x86、そして私たちが設計した革新的なプロセッサであるGrace Blackwellスーパーチップにも対応しています。従来のInfiniBandデータセンターもサポートしていますが、新しいタイプのイーサネットデータセンターも導入しています。AIをイーサネットデータセンターにも持ち込む予定です。
Blackwellを展開できる方法は、Hopper世代よりもはるかに多くなっています。それは本当に楽しみです。推論は以前は簡単でした。生成AIが存在しなかった頃、人々が推論について話していた時は、生成AIはありませんでした。
しかし今、生成AIは予測に関するものです。次のトークンの予測、次のピクセルの予測、次のフレームの予測、そのすべてが複雑です。生成AIはまた、コンテンツを理解するためにも使用されます。適切にコンテンツを生成するためには、コンテキストとメモリと呼ばれるものを理解する必要があります。
現在、メモリサイズは非常に大きく、コンテキストメモリが必要で、次のトークンを非常に高速に生成する必要があります。画像を作るには多くのトークンが必要で、動画を作るにはさらに多くのトークンが必要です。特定のタスクについて推論して計画を立てるのにも多くのトークンが必要です。
生成AIの時代は推論を100万倍複雑にしました。ご存知の通り、推論用に設計されたチップの多くは使われなくなり、今では新しいチップの開発について議論されています。NVIDIAのアーキテクチャの汎用性により、人々は革新を続け、これらの驚くべき新しいAIを作り出すことができます。そして今、Blackwellが登場します。
テスラの可能性を信じているのは誰でしょうか？それは本日のスポンサーであるSeeking Alphaです。Seeking Alphaはインターネット上で最高のテスラニュースソースです。説明欄のアフィリエイトリンクをクリックして、テスラの最新の株価目標、イノベーション、そしてイーロン・マスクに関するすべての情報を入手してください。
推論において私たちは優れた立場にあります。なぜなら推論は本当に複雑な問題だからです。ソフトウェアスタックも複雑で、人々が使用するモデルの種類も複雑です。あまりにも多くの種類があり、これは私たちにとって巨大な市場機会となるでしょう。
世界の推論の大部分は、人々が自分のデータセンターで経験しているように、Blackwellを発表した後もHopperの需要は四半期を通じて成長し続けました。これは需要がどれほど大きいかを示しています。人々は今すぐにでもこれらのデータセンターを導入し、私たちのGPUを稼働させて、お金を稼ぎ、節約を始めたいと考えています。その需要は非常に強いのです。
一歩下がって考えることが重要です。私たちが作っているのはGPUチップではありません。BlackwellやGPUと呼んでいますが、実際にはAIファクトリーを作っているのです。これらのAIファクトリーにはCPUとGPU、非常に複雑なメモリがあります。システムは非常に複雑で、NVLinkで接続され、NVLinkスイッチ、InfiniBandスイッチ、InfiniBandネットワークインターフェース、そして今ではイーサネットスイッチとイーサネットネットワークインターフェースがあります。
これらすべてがNVLinkと呼ばれる非常に複雑なバックボーンで接続されています。そしてこれらすべてを構築し、実行するために必要なソフトウェアの量は信じられないほどです。これらのAIファクトリーは本質的に私たちが構築しているものです。
全体的なユニットとして、全体的なアーキテクチャとプラットフォームとして構築していますが、その後分解して、パートナーが様々な種類のデータセンターに組み込めるようにしています。クラウドごとに少しずつアーキテクチャやスタックが異なり、私たちのスタックとアーキテクチャを彼らのものに深く統合できるようになっています。
AIファクトリーとして構築し、その後分解して、誰もがAIファクトリーを持てるようにします。これは本当に素晴らしいことです。そして私たちはこれを非常に大量に行います。とても難しい作業です。データセンターのあらゆるコンポーネント、あらゆる部分が、世界が今まで作った中で最も複雑なコンピュータです。
ほとんどすべてが制約されているのは当然です。まず、過去10年間、私たちはコンピュータの再発明に焦点を当て、現在進行中の生成AIの準備をしてきました。今私たちが経験している第一波のAIは、世界中のデータセンターを近代化することです。1兆ドル規模のデータセンターが生成AI向けに再構想され、近代化されており、私たちの焦点の多くはクラウドやデータセンターにありました。
今、私たちが目にしているのは、次のAIの波、最大のAIの波の始まりです。これは本当に、世界中の企業がデジタル従業員やAIエージェント、コパイロット、あるいは人々がどのように表現するにせよ、AIを使用してより生産的になることについてです。また、生成AIを使用して製品の構築方法や構築する製品を革新することについてでもあります。
そのために、私たちは2つのオペレーティングシステムを作成しました。1つはもちろん、NemoとNimを備えた大規模言語モデルで、私たちのAIファクトリーが機能します。もう1つのオペレーティングシステムは、時空の世界のデジタル情報を表現できるOmniverseです。
これら2つのオペレーティングシステムは基本的な技術ですが、最終的にビジネスへの影響を推進するためには、私たちがAI FoundryとOmniverseで構築する実現技術と、顧客とそのビジネスへの影響を結びつける変換器、トランスデューサーが必要になります。それがAccentureです。
ジュリーと私は約4ヶ月前にこのパートナーシップを構想し、その後、2つのエンジニアリングチームと研究チームが、AccentureがAI Refinerと呼ぶ新しいプラットフォームの構築に取り組みました。これは顧客がAIエージェントやコパイロット、ツールを使用し、独自の情報にアクセスしてタスクを実行し、生産性を向上させるのを支援するAIの構築を支援します。
私たちは従業員コパイロットのエージェント分野だけでなく、デジタル製造のためのメタバースやOmniverse分野でも協力しています。本当に大きなパートナーシップです。
世界のデータを収集するのは非常にコストがかかります。イーロンには大きな利点があります。第一に、彼の車のためのAIファクトリーは素晴らしく、多くのNVIDIAの装置が使用されています。彼の自動運転アルゴリズムは世界最高で信じられないほど素晴らしいものです。そして、道路上に大規模な車両フリートを持っており、多くのデータを収集することができます。
彼は長い間これに取り組んできており、それを活用するための素晴らしい立場にいると思います。
コメント