21,532 文字
私は、自分専用に24時間365日AIエージェントを持ち、ニーズを解決してくれることを望んでいます。最終的に、AIコンピューティング構築のために米国がどれだけのエネルギーを生産する必要があるのか。消費する電力として合理的な量はどれくらいでしょうか。キロワット、メガワット、テラワットなのか。それを80億人に掛けたらどうなるのか。基本的にAIは多くの市場要因に対する加速装置を提供します。AIがなくても、米国では2050年までにグリッド（電力網）を5倍にする必要があります。80億人が快適さと安全の中で生きるにはどうすればいいのか、その答えはテクノロジーです。
マイク・シュレーパーは9年間フェイスブックのCTOを務めた後、気候変動と闘うためにテクノロジーを使用する企業に投資するベンチャーキャピタル企業ギガスケールを設立しました。私はジェイコブ・エフロンで、今日のアンスーパーバイズド・ラーニングでは、主にAIとエネルギーの交差点についての会話をしました。マイクは、世界中でAIへのアクセスを大規模に民主化するためのエネルギー生産規模について非常に興味深い考えを共有しました。AIと気候変動の交差点について話し、フェイスブック時代の振り返りや、AI開発ツール、VR、オープンソースモデルの行方についての考えも取り上げました。また、AIの変化する世界とコーディングモデルの改善を考えると、CTOの役割がどのようになるかについても共有しました。それではマイクとの対話をどうぞ。
ありがとうございます、ポッドキャストに来ていただいて本当に感謝します。
こちらこそ、参加できて嬉しいです。
私たちの会話には様々な角度があると思いますが、AIで最先端の製品を構築する技術チームを率いた経験があり、現在は気候問題に非常に注力している人として、その交差点は本当に魅力的な場所です。このポッドキャストで何度か出てきた問題として、企業の環境問題への懸念やESGコミットメントと、現在のデータセンターに必要な大規模エネルギー構築との間の緊張関係があります。この緊張関係をどう考えるか、企業がどう対応しているか、そして最終的にAIコンピューティング構築のために米国はどれだけのエネルギーを生産する必要があるのかについて教えてください。
私はこれが、一部の人が信じていることとは逆に、相互目標という点で私たちが望める最高のニュースだと思います。AIは私たちに多くの興味深いことを可能にする信じられないテクノロジーであり、AIが近い将来、技術的知識とお金と迅速に実行したいという願望を持つ顧客からエネルギーに対して生み出す需要は、電力網に電力を供給するための多くの新しい興味深いソリューションを展開することを可能にします。AIがなくても、米国では2050年までにグリッドを5倍にする必要があります。すべてのガソリン車をEVに変換することを考えてみてください。米国で鉄鋼、セメント、コンクリートなどを製造するために必要なことを考えてみてください。それらすべてに膨大な量のエネルギーが必要です。
とにかくそのエネルギーが必要です。特にハイパースケーラーからのこの需要は、多くの新しいテクノロジーを展開し、コスト曲線を下げる機会を前倒しにしています。私が気にしているのは、後年の人々がそれを展開する理由が、地球にとって良いからではなく、より良く、より速く、より安価なオプションだからということです。
あなたの現在の活動への旅で最も興味深いことの一つは、これらのテクノロジーを大規模に展開し、実現する唯一の方法は、基本的に市場の力を通じてであるという考えでした。気候への影響を与える多くの異なる方法を検討し、これが実際に規模を拡大する方法だったということです。AIが本質的に市場の力の多くに加速装置を提供し、ここでの需要があることは本当に興味深いです。データセンターの構築に関して特に興味深いことを見たことはありますか？
それがしたことの最初のことは、バックオフィスにある何かについて人々に考えさせたことです。電力がどこから来るのか、誰も気にしないんです。それは、小包が玄関先に届くかどうかのような話です。届くか、時間通りに届くか。そして、私たちはその会話を前面に持ってきました。
また、人類の進歩の制限要因は何かという質問を投げかけ始めました。どうすれば前進できるのか、80億人が快適さと安全の中で生きるにはどうすればいいのか、その答えはテクノロジーです。それが私の知る唯一の答えです。必要としている多くの人々がエアコンを持っておらず、多くの人々がきれいな水を持っていません。これらは基本的に電力の問題です。空気を冷やす方法、空気を暖める方法、水がどこから来ても飲用できるようにする方法を知っています。これらのことの制限は、基本的には投入されるエネルギーのコストです。
そこでエネルギーのコストを10分の1にし、あらゆる場所に展開すれば、突然、多くの人々を私たち全員が愛し、当たり前と思っている生活水準に引き上げる可能性が開かれます。AIについて考え、「素晴らしい、自分専用に24時間365日フル推論エージェントを持ち、ニーズを解決してくれることを望んでいる」と言うならば、それにはどれくらいの電力が合理的に必要なのか。キロワット、メガワット、テラワットなのか。それを80億人に掛けたらどうなるのか。一部のクレイジーで楽しい数字に到達し始めますが、それは非常に実行可能です。
これらの問題を解決するために必要なものを分解すると、私にとっては常にエネルギー、エネルギー、エネルギーに戻ってきます。どうすればただたくさんのエネルギーを作り出し、持続可能で安価な方法でそれを行うことができるのか。基本的に数つの方法があると思います。
現在機能しているものはソーラーです。米国の2024年の電力網の新しいエネルギーの80％がユーティリティグレードのソーラーです。ほとんどの人はおそらくこれを知らないでしょう。その理由は、それが安いからです。電力網に新しい電子を供入れる最も安価な方法です。それは素晴らしいことです。ソーラーは素晴らしい、それは25％の時間機能します。夜間は機能せず、英国の冬には実際に機能しないので、そこに問題があります。
ジェンセンの美しいチップで満たされた40億ドルのデータセンターを持っていて、それが動作しないのは残念なことです。それは受け入れられない答えです。その物を24時間365日稼働させたいのです。そのため、時間のバランスの不一致があります。
そこで、「ソーラーは素晴らしい、可能な限りあらゆる場所にソーラーを展開してこの問題を解決しよう」と言い、次に他の技術を検討し始めます。私が最も強気なものの一つは核融合です。それは機能する反応で、太陽の中心にあります。人間はそれを何度も実現させてきました。それは信じられないほどパワー密度が高いです。
計算が正確かどうか確認する必要がありますが、米国の電力網を5倍にし、すべてを核融合で供給したい場合、1つのスーパータンカーが1年間米国全体に燃料を供給できるでしょう。それはそのような規模のものです。大きな発電所に1年間燃料を供給するのにピックアップトラック1台で足りるでしょう。非常に小さな物質からどれだけのエネルギーが得られるのかは、ただ狂ってます。また、廃棄物やその他の問題に関する他の懸念はありません。
40エーカーの土地区画を与えてもらい、何かを構築するのに2年かかりますが、その後、非常に小さな物質の入力で、エネルギーを生み出す工場を作りました。それは一種の魔法です。
他にも本当に興味深いアイデアがあります。Panasaという会社があり、彼らは沖合のコンピューティングプラットフォームを構築しました。それは海に浮かぶ高さ200メートルのものであり、エネルギーを生成します。基本的に波の力を利用していますが、それを行うことで、エネルギー生成と冷却を組み合わせています。海にいるので浸漬冷却があり、そこに素晴らしい大きな熱シンクがあります。これをすべて組み合わせると、それが地球上で最も安価な推論プラットフォームかもしれないと言えます。展開方法について少し創造性が必要ですが、彼らはこれらのものを構築しています。
常に新しい興味深いアイデアが登場し、これまでにない方法で構築することを可能にする機会があります。50％以上安いとしたら、推論のためにどれだけ多くのコンピューティング容量をオンラインにできるでしょうか。
あなたの言ったように、エネルギーが将来の制限要因になる可能性があり、UBIが世界に与える計算量や一定量のエネルギーのような考えについて話す人がいます。それは確かに共感します。基盤モデル企業、ハイパースケーラー、エネルギープロバイダー間のこの交差点がさらに増えると予想していますか？
すでにそれを見ています。ほとんどのハイパースケーラーは、既存または新しい原子力発電所の電力購入契約を発表しています。メタ（Facebook）は次世代フィオン（核融合）プラントのためのRFP（提案依頼書）を出しました。いくつかの試みが進行中です。
市場を刺激してこれらのことを実現する方法に戻ると、長期的な視点を持ち、AIについて考えている人がいれば、「データ、計算、正しいアルゴリズム、エネルギーが必要だ」と言います。これは5年前や10年前には考えられなかった会話ですが、今や主要な会話となっています。トレーニングだけでなく、推論時間のための適切な価格で十分なエネルギーをどのように確保するかということです。
推論モデルでは、計算需要がトレーニングから推論時間へと移行していると見ています。これはさらに興味深くなります。なぜなら、実行時にこのリクエストにどれだけの計算力を使うかを決めることができる消費者のための需要供給曲線に移行するからです。そのリクエストを安く作れば作るほど、より多くの需要を得ることになります。適切な価格ポイントで推論時間推論計算のための需要は無限に近いと思います。
誰かの問題を解決するだけでなく、基本的に多くのエネルギーを提供することでビジネスの成長を可能にしています。ここで、Panasaやの次世代核融合技術などの企業が、これらのハイパースケーラーの成長と非成長の違いを生み出す可能性があります。各価格ポイントでは、基本的に新しい質問セットや使用事例が大量に発生します。
100％そうです。これらの間のつながりです。私は90年代に始めました。インターネットが登場したのはスタンフォード時代でした。ドットコムブームで働き、モバイル移行に携わり、移行に携わりました。その背後にある「テイルワン」はすべて、計算のクリエイターとコストでした。
スタンフォード時代、彼らはCSの専攻を卒業するためにアセンブリプログラミングを必須とすることをやめたばかりでした。私はとにかくそれを取りました、とても楽しかったです。しかし、計算力から全てのジュースを絞り出すことはもはや有用ではなくなりました。Cのような高レベル言語を使うことができました。もちろん今では、Python、Rust、JavaScriptなど、プログラマの生産性のために計算サイクルを日常的に無駄にしている高レベル言語でプログラミングしない人はいません。
そして今、私たちはAIシステムがコードの多くを書き、最終的にはシステムを実行する方向に進んでいます。これらは多くの場合、彼らが行っていることに対して、サイクルごとのパワー効率がさらに低いです。
計算能力のこの追い風は、私たちに多くのことを可能にしました。次の10年から20年にかけて期待しているのは、同じ概念をエネルギーに適用し、エネルギーコストが次の20〜30年間、毎年10％ずつ下がるとしたら何が起こるかということです。答えは、AIコンピューティングから誰もがエアコン付きの快適さで生活することまで、製造できないと思っていたものを製造することまで、本当に素晴らしいことが多くあると思います。
エネルギーに取り組むことが不可欠だというあなたのアーティシアン的な考えは、本当にこのテクノロジーがあり、エネルギー面で解決策を見つけない限り、広く配布され、広く人々に利用可能にならないという事実を中心に展開していると感じます。
もう一つの部分は明らかに気候変動とその影響です。AI界の多くの人々が、「これらのデータセンターに電力を供給するために天然ガスが短期的に使用されている」という考えに直面したとき、「はい、短期的にはそうですが、AGI（汎用人工知能）が気候変動を解決するので大丈夫です。それは単に3〜4年で、大したことではない」と言います。このような考え方や短期的な決断についてどう思いますか？
「そしてAGIが問題を解決する」というのが何かの答えになるとは思いません。多くのことに非常に有用なツールだと思いますが、基本的には問題を先送りにしているだけです。
次の5年間は、グリッドに数ギガワットの電力を1〜2年以内に投入し、70〜80〜90％の時間稼働させたい場合、コンバインドサイクルガスタービンがそれを行う非常に効果的な方法だからです。気候変動の二次的影響や他のすべてのことを気にしないならば。
多くの人々が「今電力を獲得し、カーボンオフセットを購入し、後で他のことをする」と言う合理的な決断をしていると思います。そのため、AIのためにグリッドにいくつかの新しいガス資産を投入するという奇妙な逆転が起こることになるでしょう。
米国のエネルギー生産を見ると、基本的に石炭は減少し、ガスが増加しているのが分かります。石炭は減少してガスに置き換えられており、そして底辺にはソーラーのS曲線が見えます。これはいずれ追いつき、本当に刺激的になるでしょう。
しかし私が思うのは、「同時に歩きながらガムを噛むことができる」ということです。短期的なことのためにいくつかのプランを立てる必要がありますが、長期的に何をしたいのかのマーカーを置き始めましょう。今年は100メガワットのガス、2028年には1ギガワットを投入しますが、それは何でしょうか？
いくつかの組み合わせはあるでしょうか？非常に速く建設できるソーラーを構築できますか？そのソーラーをより長く持続させるためにバッテリーバックアップを検討し始めることができますか？次世代地熱や次世代フィッション（核分裂）やフュージョン（核融合）に投資を始めることができますか？基本的に、その技術を少し前倒しにするか、実際に成功する可能性を高めることができるかというマーカーを置くことができますか？
もしそれが成功すれば、私がすることすべてに対する大きな可能性をもたらします。これらのハイパースケーラーはすべて、これらの核融合企業の一つが成功するか、次世代地熱が本当に突破口を開けば喜ぶはずです。なぜなら突然、エネルギーを得ることができる新しいサプライヤーがたくさんできるからです。今、それが制限要因または制限係数なのです。
ありがたいことに、彼らの多くはこれを行っていますね。彼らはすべてこれらの異なる分野に賭けをしています。このテクノロジーに近い人として、多くの実験が行われ、さまざまなことが試されているように感じます。実際に多くの点でAIと似ています。3年後には、物事がどこに向かっているのかについてもっと多くを知ることになるでしょう。
あなたにとって最も気になる、大量のエネルギー、特にクリーンエネルギーの生産について、今後2〜3年でどのようなことが学べるでしょうか？
面白いことに、これらの曲線は、じっくり見れば非常に明らかだと思います。2013年にAIの仕事を始めたのは、最初の畳み込みニューラルネットがImageNetチャレンジで勝ったときでした。以前の進歩と比較して圧倒的な差で勝ちました。それを見て、「何がそれをより良くするのか」と考え、「より多くのコンピュートを追加できる、より多くのデータを追加できる」と言いました。基本的に同じアルゴリズムを使うと、「わあ、私たちには追加できる多くのコンピュートデータがある」となりました。当時でも大きかったですが、他のすべてに比べると非常に小さかったです。追い風は本当に味方でした。
私が情熱を持つすべての気候変動関連のことの面白いことは、私たちの目の前でたくさんのS曲線が起きていることです。私たちの顔はガラスに押し付けられています。
ソーラーについては言及しましたが、バッテリーについてはまだ話していません。すべてを電化することについて話し、それが最も安価な形態であるため行うことについて話します。リチウムイオンバッテリーは1991年に市場に出ました。それほど長くはありません。導入時よりも97〜98％安くなっています。年間10％以上のコスト減少が続いています。
計算に関して、進歩は、私たちがチップ作りに膨大な人間エネルギーを注いだことです。ASMLマシン（半導体製造装置）は、私が思うに最も優れたテクノロジーの一つです。本当にギークするなら、この機械をチェックしてみてください。そして、私が手に持てるものを作るために、すべてのこの作業を注ぎました。これがAIを機能させるものです。
同様のことがリチウムでも考えられます。私の車は単三電池のように見えるもので満たされています。たくさんあるだけです。それはこれらの巨大な工場で本当に安く大量に作ることができるからです。太陽光パネルの大きさはそれほど大きくありません。手に持って渡すことができます。
このように、研究開発を注ぎ込み、製造を拡大し、同じものを何度も何度も作ることができるテクノロジーが見つかるたびに、それが人類の進歩のエンジンになります。
メタでCTOを務めていた時に、ImageNetの結果を見て、「これは本当に拡大できるものだ」と明らかに感じたと仰いました。その後の冒険とFAIR（Facebook AI Research）の立ち上げから、メタは素晴らしいことを多く行いました。その多くはあなたが監督したものです。LLaMAモデルをオープンソース化するまでの道のりについて考えると、「このコンピュートに投資し、拡大するけれど、このオープンソースの道を進む」というのがいつも計画だったのですか？
FAIRの初期を見ると、PyTorchを含む多くのものが生み出されました。今日、AI開発を行うための主要なフレームワークですが、FAIRからはさまざまなモデルもリリースされました。Faissのような最近傍検索アルゴリズムも含まれます。これは多くのものの奥深くにある技術ですが、私は常に技術システムを層で考えています。
昔のネットワークの時代には、スタックの複数の層について話していました。コンピュータを考えると、チップがあり、オペレーティングシステムがあり、その上で動くアプリケーションがあります。そのスタックの中で下に行くほど、より一般化されていることが望ましいです。なぜなら、世界中のすべての企業が独自の基盤を構築し、独自の基盤モデルをトレーニングして構築することはないでしょう？
ほとんどの人が独自のチップを作らず、独自のオペレーティングシステムを作らないのと同じです。「みんなLinuxを使おう、それは良いものだ、変更したい部分に貢献しよう」という感じです。それは、同じことを多くのコピーを作るのではなく、人間の創意工夫を一つのアーティファクトに集約することであり、それは非効率的です。
最初からのAIに対する私たちのビジョンは、「これは基盤技術であり、多くのことへの入力になる」というものでした。面白いビデオを作るために使ったり、健康診断を助けるために使ったり、電力網を運営したり、新しい材料を発見したりするなど、あらゆる種類のことに使うでしょう。これらの各アプリケーションは、一つの会社や一つの産業全体が構築できる膨大な量のドメイン固有の知識を必要とします。しかしその下には、一般化可能な何かがあります。それが基盤モデルと呼ばれるものです。
最初はPyTorchのようなツールでした。それが最初のことでした。「さて、これらのモデルをトレーニングする方法、少なくともそこでの作業を共有できます」というものでした。CUDAも同様で、その下の他のものもあります。
私の考えは常に、「そのテクノロジーを手に入れよう」というものでした。メタにとって何が良いか、私の論文は常に「私たちはこれを取り、私たちのドメインで製品に投入する方法を知っています。素晴らしいソーシャル製品、素晴らしい広告製品、素晴らしい消費者製品を構築します」というものでした。
CTOとしての私の目標は常に、「私たちの会社が構築したい製品を構築するために必要な最高のテクノロジーへのアクセスをどのように確保するか」ということでした。重要な言葉は「アクセス」であり、「私たちが作ったか」ではありません。私たちが作ったのか、誰か他の人が作ったのかは気にしません。それを手に入れることができるかどうかが重要です。
オープンソースで広く使用されているなら、定義上、私たちはそれにアクセスできます。そして、そのオープンソースの開発を支援していれば、アクセスがあるだけでなく、それを推進するのを助けています。これはすべての可能性の中で最高です。世界中から多くの協力を得て、ゼロドルコストでそれに明らかなアクセスがあります。これは会社にとって最高の結果です。
そして、これらのモデルをリリースするたびに、人々はあらゆる種類の推論最適化を行い、それらをさらに速く実行する方法を見つけています。
また、それは進歩を加速させると思います。アメリカンイノベーションの定義は、分散型のイノベーションですが、適切な点での協力があります。オープンソースはその一つだと思います。科学的出版もその一つです。それをより多く行えば行うほど、人々は自分のすべてを複製するのではなく、あなたの仕事の上に構築することから始めることができます。そうすれば、私たちはより早く終点に到達できます。
私にとって、それは「より早く終点に到達しよう、AIをより強力で有用なものにしよう」というものでした。そして、それを私たちの製品に組み込み、それを株主のためのリターンに転換する方法を考えます。
PyTorchについて言及されましたが、あなたたちが開発し、非常に広く使用されているテクノロジーです。今日の開発者の風景と人々が使用しているものについて考えると、もしあなたがまだその組織を運営していたら、今日の開発者ツールのギャップは何だと思いますか？これらのモデルを使って遊んでみて。
これは開発者ツールの古典的な移行で、スタックの上に移動し始めています。アセンブリコードからCへ、そしてPythonへの話をしました。PyTorchは素晴らしいですが、モデルアーキテクチャは一般的に人々が今日多くのイノベーションを行っている場所ではありません。一部の人々は行っていますが、ほとんどの人にとって、トランスフォーマーなどはそこにあります。データセットを収集するための事前トレーニング方法や、ポストトレーニング、RHF、RLをどのように行うかなど、その周りのすべてのシステムについて話し始めます。以前よりもシステム設計の問題がより多くなっています。
そして、「素晴らしい、25,000ノードのクラスターを持っています。つまり、ある時点では確実にそれらのノードの一部が停止しています。そのリスタートやチェックポイントなど、すべてのシステム管理をどのように管理しますか」ということです。
これが起こることは分かっていましたが、「机に座って仕事をする」という状態から変わりました。物理学の例を出すと、今日の物理学を行うのは、スーパークラウドなどなしでは難しいです。すべての物理学者が机の下にそれを持っているわけではありません。大きなマシンが必要です。
以前は机の下にGPUを持っていて、ここで多くの作業を行っていましたが、今ではクラスターと、それを管理するための多くのソフトウェアやその他のものが必要です。本当に変わったのは、トレーニングからポストトレーニング、推論までのシステム全体の設計と、それらをすべてどのように管理するかということです。
スタックの重要な部分はハードウェア自体であり、過去数年間でハイパースケーラーが自社のハードウェアを構築するという興味深い動きがありました。メタもいくつかのことを行ってきました。あなたがそこにいた時の役割についてどう考え、自分のモデルをトレーニングするのと同じように、どれだけの人が自分のハードウェアをトレーニングするべきだと思いますか？
素晴らしい質問です。これは私がディープテック投資を行うので、人々とよく話し合うことです。サプライチェーンを理解し、そのどの部分をアウトソースし、どの部分を所有すべきかは、あらゆる企業にとって本当に重要な質問です。
テクノロジー企業の素晴らしいところは、選択肢があることです。すべてを購入する必要はなく、必要であれば自分で作ることができます。適切な瞬間にその選択肢を行使することが本当に重要です。
2008年にFacebook（現Meta）に入社した時、私たちはすべてのデータセンターをリースしていました。他の人が建物を建て、私たちはそれをリースしました。他の人がサーバを作り、私たちはサーバを購入して建物に設置し、その上にソフトウェアを置きました。
規模が拡大し始めると、彼らは十分に速く構築していませんでした。私たちがリースしていたデータセンターは非常に非効率的でした。そこで私たちは独自のものを構築しました。一からデータセンターを構築し、そしてそのデータセンター内でサーバの構築を始めました。
重要なことは、第一世代ではデータセンターのすべての機器を構築したわけではないということです。当時最も頻繁に使用されたWebサーバから始め、そこから残りのスタックを通じて作業を進めました。
今日では、Metaによって設計されていないMetaデータセンターのものを見つけるのは難しいでしょう。ボックス自体に関しては。当時、Intelは素晴らしいチップを作っていたので、CPUを作る必要はなく、Intelから購入することができました。なぜなら、それは一般的に私たちのニーズに合っていたからです。
いつでも、「私が購入するすべてのものから、必要なものを得ているか」と言うことが本当に重要だと思います。NVIDIAは信じられないほど素晴らしいテクノロジーを作ります。ジェンセン（NVIDIA CEO）は友人であり、ヒーローです。彼は複合R&D投資の物語です。彼がうまくやっていることは、ただそれを再投資して、より深く深い堀を構築することです。
しかし、GPUのコストがCapex（資本的支出）の重要な項目になると、多くの企業は「より良くできるか、より安く、より良く、より速くするために、自社のチップの使用方法を専門化する何かができるか」という質問をし始めます。多くの人々がそれが意味があるかどうかについて異なる答えを持っていると思います。
過去ではその決断をするための時間がもっとあったかもしれませんが、この波におけるすべての変化の速度がとても速く、「今構築することを決めたら、6か月後に何か新しいものが出た場合、後悔するだろうか」と常に考えていることを感じます。
チップの残念なところは、利益を得る最良の方法として、汎用チップでNVIDIAに勝つのは本当に難しいということです。なぜなら、彼らはおそらくあなたよりも大きなR&D予算を持っており、素晴らしいチームを持っているからです。「より良いGPU、一般的な目的のフロップスマシンを作ろう」というのが目標なら、そこで何かをすることへの期待は低いでしょう。
唯一の本当の喜びは、基本的に専門化して、「よし、この特定のアルゴリズムを知っている、これをハードウェアに実装しよう」と言うことです。通常、ソフトウェアを取ってハードウェアに移すと、約10倍のパフォーマンス/ワットまたは価格の優位性が期待できます。しかし、アルゴリズムを正しく推測する必要があります。
トランスフォーマーアーキテクチャを文字通りそこに埋め込み、そして2年後に私のチップが実際に出てきたときに、その異なるバリエーションやプロセスの他の部分がより大きいのでしょうか？それは本当に繊細なバランスです。それを正確に行えば、本当に良い仕事ができますが、失敗すると無価値になる可能性があります。なぜなら、文字通り実行したかったアルゴリズムを実行できないからです。
あなたは多くの人々が、影響力がある場所を把握しようとしているのを見ているのだと思います。何年も前からこれらのデータセンターへのコミットメントでさえ、AIコンピュート拡大について知る前に。明らかにすべての科学は1、2年後に変わるかもしれない拡大法則を指していますが、2年後の将来のコミットメントを人々が行っています。
それはより簡単な賭けだと思います。なぜなら、その容量を他の多くのことに再利用できるからです。コンピュートが何かのために必要になるという考えはそれほど難しくありません。
これはNVIDIAが引き続き非常にうまくやっている理由です。GPUを購入すると、トレーニングが重要でなくなったとしても、推論ほど効率的ではありませんが、推論に使用できます。つまり、捨てる必要はありません。それは比較的安全な賭けだと思います。もっと多くの人々が何かをしたいと思って、それから気付いたことにフラストレーションを感じています。
初期に私たちが最初のデータセンターを構築していたときに思い出すのは、「どれくらいの容量が必要ですか」と聞かれたことです。私は「わかりません、18か月後に私の製品に何人の人がいるかを尋ねているのですか？その答えを知る方法は全くありません」と答えました。彼らは「鉄鋼を注文する必要があります、それをホームデポで前日に注文することはできません、15万平方フィートの施設を構築するには、今知る必要があります」と言いました。
私には全く分からないが、2年前に決定しなければならないことに取り組んでいるという、この不一致は、物理的な世界のあらゆるものについて言えることで、ハイパースケーラーのすべての友人にとって本当に困難です。
それについて何を学びましたか？明らかに何度もそのような判断をしなければなりませんでした。
「やらかすな」というのが答えですね。過小予測することも過大予測することも辛いです。しかし、過小予測よりも過大予測を後悔することの方が多いと思います。なぜなら、何かが起こっていて、それを追いかけて手に入れるために必要な容量がないのを見るのは本当に残念だからです。
余分があってそれに対処する必要がある場合、それは一種の金融問題です。しかし、容量がない場合、それは技術的な問題であり、製品の問題です。それははるかに不満を抱かせるものです。
他に多くのトリックがあります。これは古典的なチップ設計パイプラインのようなものです。不動産を見つけ、購入し、建設するなど、複数の段階のパイプラインがあります。レイテンシーを減らしたり、隠したり、異なる段階でより多くの柔軟性を与えるために、そのパイプラインを最適化するトリックがあります。
詳細に共有できないかもしれませんが、それをより効率的に行う方法について多くのトリックを学びました。どんなことでも、その問題を最適化すれば、本当にうまくできます。
あなたは多くの興味深いことを監督し、その一つはOculusとVR世界全体でした。それは明らかにメタプラットフォームの大きなビジョンの一つでした。これらの生成モデルで今できる多くのクールなことがあると思います。将来の機会についてどう考えるか、少し教えていただけますか？
私が持っているビジョンは、「マトリックス」のオペレーターのようなものです。それはあなたのAIモデルであり、将来のVRでできることは、私が望むあらゆる仮想世界に没入できるということです。
その本当の制限要因はコンテンツの作成です。本当に素晴らしいコンテンツを作成するのには多くの作業が必要です。もし3D世界で生成AIシステムがあって、私が望むものを瞬時に作成できるとしたら、それは心を打つ活動です。
「マトリックス」でオペレーターに呼びかけるように、「これが欲しい、あれが欲しい」と言えば、それがただ現れて、その世界に入れるのです。これは明日や来年のことではありませんが、次のX年以内に確実に私たちの手の届く範囲にあります。Xが何かはわかりませんが。それは明らかに非常に刺激的です。
もう一つ本当に刺激的なのは、私がどこへ行っても私と一緒に歩くコンテクストAIのアイデアです。スマートグラスのペアがあり、様々な手助けをする能力があります。例えば、どこかに旅行して、その人の母国語で話したい場合のライブ翻訳や、メニューの解釈、私が見ているものについてのコンテキストを提供してくれます。それは効果的にツアーガイドのようなものです。
または友人や家族とつながり、彼らをその体験に招待したり、思い出を共有したり、それらを思い出したりします。それは非常に変革的になるでしょう。AIでは多くの興味深いことが起こっていますが、それはまだ私が脇でやる何かのようなものです。それはテキストしたり、コンピュータに行ったりする何かです。それが常に私と一緒にある何かというアイデアは、私たちがまだ経験していないものですが、人々はいろいろな方法でこれを試みてきました。これは今後数年間で見られるものであり、非常に影響力があるでしょう。
フォームファクター（形状）についてはまだ人々が理解しようとしているようですが、明らかにメタはグラスを出し、多くの人々が異なる種類のハードウェアで実験しています。気候サイドと同様ですが、AI側では、みんなが「この世界は今後2〜3年でどこに向かうのか」と尋ねています。現在最も注目していて、今後1〜2年で分かるであろう重要な質問は何ですか？
明らかなことは、長い間、長い間、2年前の大きな問題は「LLM（大規模言語モデル）を拡大することでどこまで行けるのか」というデベートでした。そして、「単純に大量のデータでの事前トレーニングや単純な言語モデルによって収穫逓減にぶつかっている」と思います。
そして次の問題は「次は何か」ということです。驚くべきことは、ポストトレーニング、RL、その他のことを通じて、LLMを一種の推論モデルへの入力として扱うことで、外部でより良い結果を得ることができるということです。
それがどれだけの足を持っているのか本当に興味深いです。それは2年、5年、10年回せるハンドルなのか、あるいは検証が容易な領域がどれだけあるのでしょうか？それとも私たちは他の何かのコンポーネントを見逃しているのでしょうか？
明らかに大きなものの一つはメモリです。Gemini 2の100万トークンのコンテキストウィンドウは非常に素晴らしいですが、実際には何らかの連想長期記憶が欲しいところです。それは人間が持っているものの一種です。そして私たちはまだLLMでそれが欠けています。
そして、検証が難しい領域に移るとすぐに、苦労すると思います。数学は素晴らしいです。なぜなら、答えが正しいかどうかを検証できるからです。コーディングも素晴らしいです。少なくともコンパイルできるかどうかが分かりますし、そこには多くのデータがあります。ビデオなどに移るとすぐに、モデルをどこに接地すればよいのかが分かりにくくなります。そこで私たちは少し苦労するでしょう。
今日の気候フォーカスに話を変えると、気候に対するAIのアプリケーションで最も興味深いと思うものは何ですか？
いくつかあると思います。AIが解決できる本当に重要な問題として考えると、一つは実際に探索です。これはさまざまな形で現れますが、地熱探査があります。
Zanarという会社があり、基本的に「正しい場所を掘削すると、熱い水や蒸気が地面から出てくる場所がある。それはエネルギーの魔法のような源泉だ」と言いました。そこで問題は「もっとそういう場所を見つけることができるか」ということです。
ただ多くの場所を掘るのではなく、データを使って分析できるでしょうか？彼らはAIを使って基本的に地熱に最適な場所を見つけようとしています。他にも多くの例があります。銅の鉱床や水素などを探している場合、物を掘り起こして見つけようとするのではなく、データを使って見つけることができるか？これは私たちがもっと見ることになる非常に興味深い分野です。
もう少し日常的ですが有用なのは、天気予報などです。保険やリスクをより良く予測できるかなど、他のことも。
そしておそらく最も刺激的なのは、新しい材料の発明や新しい材料の最適化です。これは炭素回収のためであれ、異なる種類の反応のための触媒であれ、特定の特性を持つものを多次元空間で検索しています。それをより速く見つけたり、迅速に反復してテストできる多くの例を生成したりできるでしょうか？
気候以外でも、AIを通じてガン治療薬発見を行う会社を最近始めました。他のことのための製薬ターゲットを見つけることについても楽観的です。それはこの大規模な変数空間があり、実際にそうかもしれない20か30か1000に絞り込んで、それらすべてをテストするという問題空間です。AIはすでにそのような問題を大いに助けていると思います。
この材料科学の仕事は非常に興味深いです。市場にそのものをもたらす最終企業にとって重要になるマイルストーンを見るのは魅力的だと思います。バイオの世界では、伝統的に問題は、素晴らしいターゲット識別や興味深いものがあっても、まだ何年もの試験を実行する必要があることでした。材料科学の分野では、同等のことは「それは興味深い材料だが、あなたはそれを興味深い方法で大規模に製造できるか」ということに感じます。それは、本当にクールな材料を見つけることができても、実際に大量製造に持っていくことができる数が制限されるかもしれません。企業として、実際にいくつをマス製造に持っていけるでしょうか？
バイオの世界では、最終的には1つか2つの資産しか市場に持ち込めなかったプラットフォーム企業がたくさんありました。おそらくこれらの会社をよく目にするでしょう？
そして実際、これが私がAIに長期的に強気であり、短期的にはこれらのアプリケーションに対して過大評価されていると思う理由です。よく説明するのは、「この新しい材料を市場に持ち込むのに関わるすべての活動の円グラフを、時間とコストの観点から示してください。そして、あなたのAIソリューションが実際に対処する円グラフの割合はどれくらいですか？」ということです。
多くの場合、それは10％未満です。「ええ、ここに発見部分がありますが、実際に難しい部分は製造の拡大で、これはそれに対して何もしません。そのすべての作業を行い、顧客を見つけて市場に出る必要があります」というようなものです。いくつかの新しい発見を得ても、実際にはあなたを助けません。
興味深いソリューションは、より直接的なエンドツーエンドのものです。だからこそ、この地熱発見のものが興味深いのです。新しい資産の探査は人々が気にする実際の活動だからです。それをより速く行うと、「ああ、それは本当に興味深い、私の収益に本当に影響がある」ということになります。
より消費者視点では、私たちがバックしている会社の一つは、実際にテック創業者のセリーナ・トバックワラによるものです。彼女はEviteを創設し、SurveyMonkeyで働き、製品エンジニアリングのバックグラウンドを持ち、消費者のための家庭の効率と快適さに取り組んでいます。
「私の家は少し隙間風があり、電気代が高すぎる、どうすればいいか」という問題に対して、「トラックで人が来て、家の周りを見回ることもできるし、AIにこれをやらせることもできる」という答えです。あなたの電話に小さな熱カメラを接続して、家の周りでたくさんのビデオを撮り、それを送信すると、彼らのAIエージェントがそれを処理してレポートを送り返します。「ここに断熱材を追加する、冷蔵庫を交換する、給湯器を交換するなど、あなたができる上位5つのことがあります。回収期間は7か月です」というものです。
それはかなり影響力があり、ほとんどの消費者は人が来るのを待って500ドル払うことはありませんが、6〜12か月の回収期間でお金を節約することに500ドル払うでしょう。それはAIの直接的な応用です。そう考えないかもしれませんが、実際にはAIです。なぜなら、人間がすべての作業をする必要なく、そのようにして解決策を見つけているからです。
100％そのとおりです。将来的には、私たちを案内する個人用エージェントに統合され、自動的に注文するでしょうね。「ちなみに、玄関のドアに断熱材を入れる必要があります。」「わかりました、それに取り掛かります。」
個人的な側面では、今日の日常生活でAIをどのように使用していますか？
それは興味深い質問です。私は定期的にそれを試しています。投資作業の一部で使っています。
今朝、ハッカーニュースに素晴らしい投稿がありました。学部生が新しいソーティングアルゴリズム…いや、新しいハッシングアルゴリズムを見つけて、スーパーナードなハッシュテーブルのパフォーマンスを向上させたというものでした。
これは私のLLMのお気に入りの使い方の一つです。「この複雑な論文を取り、私に正確に説明してくれますか」というもので、それはその要約をかなりうまくやりました。しかし、例を作成するように頼んだとき、それらはやや不正確でした。それは興味深いと思いました。
大量の情報を蒸留すること、実際Deep Researchは驚くほど良かったです。私の世界では、論文投資を多く行います。「地熱に対する正しいアプローチは何か」や「バイオチャーについてどう思うか」などです。
Deep Researchにこれらすべてのことについてレポートを作成するよう頼みました。それはビジネススクールの学生のような、特定のドメインに詳しくない、かなり賢い人間と同等だと言えます。「フィールドについて何も知らない人に1週間かけて研究し、異なるリアクターデザインをすべて要約してください」と言った場合のようなものです。それはその程度の良さでしたが、15分でできました。とても素晴らしかったです。
一般的に、要約やその他のことに対する加速剤として使っていますが、データが常に正確であるとは限らないので、すべてのデータを二重チェックする必要があります。
ポッドキャストのゲストによく尋ねる質問ですが、お子さんがいるようですね。AIが彼らの生活をどのように変えると思いますか？また、それがあなたの子育てや、伝えたいスキルについての考え方に影響を与えていますか？
面白いことに、テクノロジーが進歩すればするほど、基本的なことが重要だと思います。基本的なことというのは、人間はまだ多くのデータを見るのが最も得意であるということです。答えが明らかであればあるほど、機械やAIがそれを理解する可能性が高くなります。そして不完全なデータに基づいて直感的な判断をするほど、人間はその点で興味深くなります。
文字通り批判的思考能力、基本的な数学、書くこと、読むことなど、消費と理解、より高いレベルでの思考に関わるすべてのスキルです。私たちの子供たちは二人ともコードを書きます。彼らがフルタイムのプログラマーになるかどうかはわかりませんが、物事がどのように機能するかを理解することは重要です。
私のキャリアで最も役立った2つのスキルを振り返ると、高校時代にディベートチームにいたことです。それを楽しんでルネサンス人間になり、ディベートの全国大会にも出ました。最初から、人前で話すことは私にとって大したことではありません。それが得意というわけではなく、ただ緊張しないだけです。また、「聴衆を説得しなければならない」ということを考える必要があります。「次の大きな革命であるエネルギーの始まりにいる」ということを説得しようとしています。
2つ目は、スタンフォードでのコンピュータサイエンスとエンジニアリングが実際に教えてくれたことです。Cを学び、C++を学びましたが、言語は重要ではなく、基礎が重要でした。コンピュータがどのように機能するか、データを処理するさまざまな方法、問題をどのように分解して理解するか、そして「問題について本当に一生懸命考えれば、何でも学ぶことができる」という自信です。
ここで核融合について話していますが、私はプラズマ物理学者ではありません。それについて合理的な量は知っていますが、時間とエネルギーを投資したいだけ学ぶことができます。子供たちに望むことがあるとすれば、そのスキルです。あなたの心をそれに適用すれば、学ぶことができます。「専門家ではない」などのナンセンスを言わないでください。そのような人の話を聞くと、イライラします。「テクニカルではない」「SC（何かの短縮形）ではない」などと言います。誰でも何かを学ぶ能力を持っていると思います。本当に心を適用し、層を剥がし始め、毎回一つ深いレベルで理解すれば。
もっと多くの人がそのスキルを持っていたらと思います。希望的には、これらのAIツールの一部が、Deep Researchが有用なチューターになるでしょう。「それが理解できない、一体それはどういう意味だ？それを説明してくれ」と言うと、それはあなたが理解していないことを判断せず、答えを与えてくれる素晴らしいサイドキックになります。
「もっと簡単に説明して」と言って、本当に簡単になって「6年生に説明するように」と言うと、「ああ、今なら理解できる。なぜ最初からそう言わなかったの？」と思うことがよくあります。
そうですね。コードは、これらのモデルが最も進歩した分野の一つですね。あなたは大規模なテック組織を率いていました。5年後に本当に大きなチームを運営する未来のCTOについて考えると、何が同じままで、何がそれらの組織や役割について根本的に異なるものになるでしょうか？
人々が考えるよりも似たものになると思います。ツールの品質、コードベースのサイズを考えてみてください。90年代は「コードベース全体をコンパイルできますか」ということが課題でした。それは90年代によくある課題でしたが、今は誰も話題にしません。
チームは大規模になり、コードベースは信じられないほど大きくなりました。冗談のようですが、私たちはシャベルで掘っていて、バックホーが現れたようなものです。「それははるかに速い、そうしよう」という感じです。
私にとってAIは、JavaScriptがCに対する関係、Cがアセンブリ言語に対する関係と同じです。より高いレベルの抽象化で自分の考えを表現しています。AIは究極のものです。「次の配列を次の方法でソートするコードを書いてください」というようなものです。これは、標準ライブラリに組み込まれたソート関数を呼び出すよりも明らかに速く、アセンブリ言語から一からそのものを書くよりも明らかに速いです。
しかし最終的には、他のポイントに戻りますが、実際に重要なことは「どのような問題を解決しようとしているのか、何が重要なこととして追求すべきか、そしてこの問題に取り組むためにこのスマートな人間のグループをどのように組織するか」ということです。それが「私はこのクールなテクノロジーをすべて持っているが、私たちはこのソートアルゴリズムで本当に深く掘り下げるのか、それとも顧客のためにこの問題を解決するのか、重要な問題は何か」という普遍的なスキルです。
人々と協力するとき、私が探すものの一つは、頭の中で「優先度のキュー」を実行できる人です。彼らは常に並べ替えを行い、常に最も重要な問題を一番上に持っています。一方、素晴らしく素晴らしいことができる他の人もいますが、彼らは気が散って、1％の問題を潰すことに夢中になってしまいます。「それは重要ではない、99％の問題に戻ってきてください。あなたのものが10倍良くても、重要ではありません。」
個人や組織でそのスキルを得ることが重要です。「私たちは最も影響力があり、最も重要なことに焦点を当てているか」ということです。そのようにできればできるほど、これらのパワーツールを使って驚くべき製品と驚くべき会社を構築することができます。
それを行うために必要な組織の規模は変わると思いますか？明らかに、人々は「最初の10人の企業で10億ドル企業になるだろう」などと話しています。
より小さなチームでより速く企業が成長するのを見ていると思います。はい、チームの規模は時間とともに減少すると思います。
私たちはいつも、終わりにクイックファイアラウンドでインタビューを終えます。ここで、終わりに詰め込む過度に広い質問についてあなたの意見を聞きます。
まず、今年のモデルの進歩は昨年よりも多いのか、少ないのか、同じなのか、どう思いますか？
より多いと思います。
新しいモデルが出るたびに試すことは何ですか？
複雑な研究論文を要約してもらうことです。
これらすべてのAI進歩が将来にどのような影響を与えるかについての、最も変わった予測は何ですか？
ほとんどの人がAIの友達を持つようになると思います。
それらのAI友達は、実在の人とAIがいるようなグループチャットとも交差するのでしょうか？それともこれらの世界はどれほど別々になるのでしょうか？
おそらく、グループでその友達を呼ぶようなものでしょう。もし異なる趣味を持つ2つの異なる友人グループを持ち、それらを一緒に連れてくると少し気まずくなるような経験をしたことがあれば分かると思います。
実際の価値は、非判断的で、あなたのチームにいる友達だと思います。友達に何を望むか、それはあなたの側にいて、あなたの利益を心に持っていることです。そして、より多くの人々が私たちが気づくよりもAIチャットボットとそれを見つけると思います。
あなたはFAIRを立ち上げ、メタで非常に成功を収めた時間を振り返ると、AIについて多くのことを学んできましたが、振り返って後悔することや「ああ、XやYのことをやっておけばよかった」と思うことはありますか？興奮し、誇りに思うことはたくさんあると思いますが。
PyTorch、Llama、メタが本当にオープンウェイトとLlamaに全面的に賭けた時、それは特に一般的な決断ではありませんでした。人々はその力について理解し始めています。それは私たちが長い間持っていた信念の一つで、正しかったと思います。歴史の正しい側にいたと思います。
スケールアップ対アルゴリズムの論争については、内部でも同じ論争があった時期があり、もう少し早くスケールアップ側に飛び込めばよかったかもしれないと思います。
最後に言葉を残したいと思います。今日行っている仕事についてもっと知るためにどこに行けばいいか、または人々に伝えたいことがあれば、どうぞ。
冗談ですが、スポンサーリストは提供していません。Power Aidを思い浮かべています。
真面目に言うと、gigascale capital.comで私を見つけることができます。LinkedInでも、Xでは時々、スレッドではよく見つけることができます。これらの場所で私を見つけてください。
素晴らしい会話をありがとうございました。お会いできて素晴らしかったです。
皆さん、ジェイコブです。もう一つだけお伝えします。もしこの会話を楽しんでいただけたなら、番組の評価を残すことを検討してください。そうすることで、ポッドキャストがより多くのリスナーに届き、最高のゲストを招くのに役立ちます。
これはレッドポイントベンチャーズによるAIポッドキャスト「アンスーパーバイズド・ラーニング」のエピソードでした。AIの最も鋭い心を探り、今日何が現実であり、将来何が現実になるのか、そしてそれがビジネスと世界にとって何を意味するのかを探ります。AIの急速な進歩に対応して、最も重要なブレークスルーを理解し、現実のより明確な図を描くのに役立つことを目指しています。ご視聴ありがとうございました。次回のエピソードでまたお会いしましょう。
コメント