16,800 文字
中国の最新のAIブレイクスルーは世界を飛び越えた。中国の開発については非常に真剣に受け止めるべきだ。OpenAI、Google、Metaからではなく、ゲームチェンジとなる動きが。シリコンバレー全体が騒然となる新しいモデルがある。それは中国のDeepseekという研究所から生まれた。中国のAIで実際に何が起きているのか、多くの人々の目を開かせた。
GoogleとOpenAIが何年もかけ、何億ドルもの費用をかけて構築したものを…Deepseekは2ヶ月足らずで600万ドル以下で実現したと述べている。彼らは最高のオープンソースモデルを持っており、アメリカの開発者たちはそれを基に構築している。私はDeirdre Bosaで、テックチェックテイクをお届けします…中国のAIブレイクスルーについて。
シリコンバレーに衝撃を与えた技術的な飛躍。市場に出回る最も強力なモデルの一部を上回る、新しく公開された無料のオープンソースAIモデル。しかしこれはOpenAIの新製品でもAnthropicのモデル発表でもなかった。これは東洋の、Deepseekという中国の研究所によって構築されたものだった。
その開発の詳細は米国のトップAI研究者たちを驚かせた。まず、コストについて。このAI研究所はDeepseekバージョン3の構築にわずか560万ドルを費やしただけだと報告されている。これに対してOpenAIは年間50億ドルを費やしており、Googleは2024年の設備投資が500億ドルを超えると予想している。
そしてMicrosoftはOpenAIへの投資だけで130億ドル以上を投じている。しかし、さらに驚くべきことに、Deepseekのスクラップ寄せ集めモデルが、潤沢な資金を持つアメリカのモデルを凌駕したことだ。新しいDeepseekモデルを見ると、推論時の計算において非常に効果的なオープンソースモデルを作り上げており、非常に計算効率が良い。
広範なテストで、MetaのLlama、OpenAIのGPT 4-o、AnthropicのClaude Sonnet 3.5の精度を上回った。500の数学問題のサブセット、AIによる数学評価、コーディングコンペティション、コードのバグを発見して修正するテストなどで。その後すぐに、R1という新しい推論モデルを発表し、第三者テストの一部でOpenAIの最先端モデルo1をも容易に上回った。
本日、私たちは「Humanity’s Last Exam」をリリースしました。これは数学、物理学、生物学、化学の教授陣に考えられる限り最も難しい問題を提供してもらい、AIモデルの新しい評価やベンチマークを作成したものです。中国をリードするAI研究所であるDeepseekのモデルは実際にトップの性能を示すか、あるいはアメリカの最高モデルと同等の性能を示しています。
米国政府が中国に課した厳格な半導体規制にもかかわらず、彼らはそれを成し遂げた。この規制は実質的に計算能力を制限するものだった。ワシントンはAIレースにおいて中国に対して厳しい姿勢をとっている。同国がアメリカの最も強力なチップを入手することを阻止している…
NvidiaのH-100 GPU。これらは一度は競争力のあるAIモデルを構築する上で不可欠だと考えられていた。スタートアップも大手テック企業も、入手可能なものを手に入れようと躍起になっていた。しかしDeepseekはそれを覆した。最新モデルの構築にNvidiaの性能の劣るH-800を使用することでルールを回避し、チップの輸出規制がワシントンの意図した首輪とはならないことを示した。
彼らは、訓練に使用できるどのようなハードウェアでも、それをはるかに効率的に使用することができた。しかし、そもそもDeepseekの背後にいるのは誰なのか？そのブレイクスルーにもかかわらず、その研究所と創設者のLiang Wenfengについては、ほとんど何も知られていない。中国メディアの報道によると、Deepseekは約80億ドルの資産を運用する中国のヘッジファンドであるHigh Flyer Quantから生まれた。
開発者サイトのミッションには、シンプルにこう書かれている：「好奇心を持ってAGIの謎を解き明かす。本質的な問いに長期的な視点で答える。」一方、アメリカの主要なAIスタートアップであるOpenAIとAnthropicは、AIの安全性と責任に関するこれらのセクションのように、彼らの原則と創設ミッションを詳細に記した憲章や規約を持っている。
Deepseekには何度も連絡を試みたが、返答は得られなかった。彼らは実際にどのようにしてこの人材を集めたのか？どのようにしてすべてのハードウェアを集めたのか？どのようにしてこれらすべてを行うためのデータを集めたのか？私たちには分からないし、それは一度も公表されたことがない。それについて学べることを願っている。しかし、この謎は中国とのAIの対決がいかに緊急かつ複雑になっているかを浮き彫りにしている。
なぜなら、それはDeepseekだけではないからだ。他のより有名な中国のAIモデルも、限られたリソースでレースに参戦している。中国でのGoogleの事業を率いていた主要なAI研究者の一人であるKai Fu Lee。現在、彼のスタートアップ「Zero One Dot AI」が注目を集めている。設立からわずか8ヶ月でユニコーン企業となり、2024年には約1400万ドルの収益を上げている。
シリコンバレーの私の友人たちを驚かせているのは、単に私たちのパフォーマンスだけでなく、モデルの訓練にわずか300万ドルしかかからなかったことだ。GPT-4は8000万から1億ドルで訓練された。わずか300万ドルで訓練された。一方、アリババのQwenは、より多くの開発者を引き付けるため、大規模言語モデルのコストを最大85%削減し、レースが始まったことを示している。
中国のブレイクスルーは、かつて我々のAI研究所が持っていると考えられていたリードを損なうものだ。2024年初め、元Google CEOのEric Schmidtは、中国は米国より2〜3年遅れていると予測した。しかし今、Schmidtは異なる意見を述べている。ABCの「This Week」でこう語った。私は以前、我々は中国より数年先を行っていると考えていたが、中国は過去6ヶ月で驚くべき方法でキャッチアップした。
実際のところ、中国のプログラムの一つ、例えばDeepseekと呼ばれるものは、追いついたように見える。これはOpenAIの堀がどれほど広いのかについて大きな疑問を投げかける。2022年11月にOpenAIがChatGPTを世界に公開した時、それは前例のない、競合のないものだった。
現在、同社は中国モデルからの国際競争だけでなく、GoogleのGemini、AnthropicのClaude、MetaのオープンソースモデルのLlamaからの激しい国内競争にも直面している。そして今やゲームは変わった。強力なオープンソースモデルの広範な利用可能性により、開発者はモデルの構築と訓練という要求の厳しい、資本集約的なステップをスキップできる。
今や既存のモデルの上に構築することができ、より少ない予算とより小さなチームで最前線、つまりレースの先頭に飛び込むことが大幅に容易になった。過去2週間で、AI研究チームは目を見開き、より少ない資本で何が可能かについてはるかに野心的になった。
以前は、最前線に到達するには、数億ドルの投資、おそらく10億ドルの投資を考える必要があった。Deepseekが今シリコンバレーで示したのは、1000万、1500万、2000万、あるいは3000万ドルで実際に何が達成できるかということだ。
それはまた、OpenAIのような企業が今日主張する最前線を…明日には失う可能性があることを意味する。それがDeepseekがこれほど迅速にキャッチアップできた理由だ。既存のAIの最前線から構築を開始し、そのアプローチは一から作り直すのではなく、既存の技術を反復することに焦点を当てた。非常に優れた大規模モデルを取り、蒸留と呼ばれるプロセスを使用することができる。
蒸留とは基本的に、非常に大きなモデルを使って、小さなモデルを望む内容について賢くなるように助けることだ。それは実際に非常にコスト効率が良い。利用可能なデータセットを使用し、革新的な調整を適用し、既存のモデルを活用することでギャップを埋めた。その結果、Deepseekのモデルはアイデンティティの危機に陥った。
直接「あなたはどのモデルですか？」と尋ねると、Deepseekは…私はOpenAIによって作成されたAI言語モデルで、特にGPT-4アーキテクチャに基づいていますと応答する。これを受けてOpenAI CEOのSam Altmanは、モデルがリリースされてから数日後に、Deepseekへの暗示的な一撃を投稿した。
「うまくいくことが分かっているものをコピーするのは比較的簡単だ。うまくいくかどうか分からない新しく、リスクがあり、困難なことを行うのは極めて難しい。」しかしそれは正確にはDeepseekが行ったことではない。OpenAIの既存の出力とアーキテクチャの原則を活用しながら、静かに独自の改良を導入し、ChatGPTとの境界線を本当に曖昧にした。
これはすべて、より潜在的に機敏な競合が出現する中で、OpenAIのようなクローズドソースのリーダーがより高額なモデルを正当化する必要性を生み出している。この分野では誰もが誰かをコピーしている。Googleが最初にトランスフォーマーを作ったと言える。OpenAIではなく、OpenAIはそれをコピーしただけだ。Googleは最初の大規模言語モデルを構築した。
彼らはそれを製品化しなかったが、OpenAIは製品化した。このように多くの点で言うことができる。それは重要ではない。では、もし誰もが互いをコピーしているのなら、個々のLLMに大規模な支出をすることは、もはや良い投資なのだろうか？今、誰もOpenAIほど多くを賭けていない。このスタートアップは最後の資金調達ラウンドだけで60億ドル以上を調達した。
しかし、同社はまだ利益を上げていない。そして、モデルの構築を中核事業とする同社は、支出を賄うクラウドビジネスや広告ビジネスを持つGoogleやAmazonよりもはるかに脆弱だ。OpenAIにとって、推論が鍵となるだろう。応答を生成する前に考えるモデル、パターン認識を超えて分析し、論理的な結論を導き出し、本当に複雑な問題を解決するモデル。
今のところ、同社のo1推論モデルは依然として最先端だ。しかしそれはいつまで続くのか？バークレーの研究者たちは先週、450ドルで推論モデルを構築できることを示した。実際、これらの思考を行うモデルを、はるかに少ない費用で作成することができる。モデルを事前訓練するための巨額の費用は必要ない。
だからゲームは変化している。これは、トップの座を維持するには資本と同じくらいの創造性が必要かもしれないことを意味する。Deepseekのブレイクスルーは、AIの優等生にとって非常に厄介なタイミングでやってきた。OpenAIが営利モデルに移行し、前例のない人材流出に直面している時に。ゲームが変化している中で、これまで以上に高い評価額で資金を調達できるのだろうか？Chamath Palihapitiyaが言うように…
はっきり言おう：AIモデルの構築は資金の罠だ。米国政府からのそれらの規制は、レースを遅らせることを意図していた。アメリカのテクノロジーをアメリカの地に留め、レースでリードを保つため。私たちがしたいのは、それをこの国に留めることだ。中国は競争相手であり、他にも競争相手はいる。
しかし代わりに、その規制は中国が必要としていたものだったのかもしれない。必要は発明の母である。回避策を見つけ出さなければならなかったため、彼らは実際にはるかに効率的なものを構築することになった。彼らが費やした資本の少なさで、これほどの進歩を遂げたのは本当に驚くべきことだ。
それは彼らを創造的にさせた。大きな影響を伴って。Deepseekはオープンソースモデルで、開発者は完全なアクセス権を持ち、その重みをカスタマイズしたり、好みに合わせて微調整したりすることができる。オープンソースがクローズドソースのソフトウェアに追いついたり改善したりすると、すべての開発者がそちらに移行することは知られている。
さらに重要なのは、それが安価だということだ。コストが低ければ低いほど、開発者にとって採用がより魅力的になる。要するに、私たちの推論コストは100万トークンあたり10セントで、これは典型的な同等モデルの課金の1/30だ。どこへ向かうのか？その10セントは、はるかに低コストでアプリを構築することにつながるだろう。
u.comやPerplexity、あるいは他のアプリを構築したい場合、OpenAIに100万トークンあたり4.40ドル支払うか、私たちのモデルを使えば10セントで済む。これは、グローバルAIの主流モデルがオープンソースになる可能性があることを意味する。組織や国々が、コラボレーションと分散化が、独自の閉鎖的なエコシステムよりも革新をより速く、より効率的に推進できるという考えに賛同するようになるからだ。
中国からの、より安価で、より効率的で、広く採用されたオープンソースモデルは、力学の大きな変化につながる可能性がある。それはより危険だ。なぜなら、彼らはマインドシェア、エコシステムを所有することになるからだ。言い換えれば、中国のオープンソースモデルが大規模に採用されることで、米国のリーダーシップが弱体化し、中国がグローバルなテック・インフラストラクチャにより深く組み込まれる可能性がある。
オープンソースは常にオープンソースでなくなる可能性もある。ライセンスは今日では非常に有利だが、それを閉じることができる。その通り、時間とともにライセンスを変更することは常に可能だ。だからこそ、アメリカに構築する人々を実際に持つことが重要で、そのためにMetaは非常に重要なのだ。
中国のAIブレイクスルーのもう一つの結果は、中国共産党に物語の支配権を与えることだ。中国で構築されたAIモデルは、国家によって設定された一定のルールに従わなければならない。それらは「中核的な社会主義的価値観」を体現しなければならない。研究によると、TencentやAlibabaによって作成されたモデルは、天安門広場のような歴史的出来事を検閲し、人権侵害を否定し、中国の政治指導者への批判をフィルタリングすることが示されている。
その競争は、民主主義的価値観に基づき、民主主義的目的のために構築された民主主義的AIを持つのか、それとも独裁的AIを持つことになるのかということだ。開発者たちがより効率的だという理由でこれらのモデルを大規模に採用し始めた場合、それは深刻な波及効果を持つ可能性がある。
消費者向けAIアプリケーションにまで波及し、チャットボットからのAI生成の応答がどれだけ信頼できるかに影響を与える可能性がある。そして実際に、現在世界でこれを大規模に構築できる国は2つしかない。それは米国と中国だ。だから、これをめぐる結果と賭け金は単に巨大なものだ。
巨大な賭け金、巨大な結果、そしてそのバランスの上にあるのは：アメリカのリードだ。このように複雑で新しいトピックについて、我々は実際にこの分野で構築している、そしてモデルに依存しない専門家に話を聞いた。Perplexityの共同創業者でCEOのArvind Srinivasだ。彼は我々のピースを通じて話を聞いてきた。彼は30分以上私と座って、Deepseekとその意味、そしてPerplexityのロードマップについて議論した。
私たちはその会話全体を聞く価値があると考えている。だからここにその会話がある。まず私は賭け金が何なのか知りたい。中国と米国のAIレースについて説明し、何が賭けられているのか教えてほしい。まず第一に、中国は米国と競争する上で多くの不利な点を抱えている。一つ目は、私たちがここでアクセスできるすべてのハードウェアにアクセスできないという事実だ。
だから彼らは私たちよりも低性能のGPUで作業している。まるで前世代のGPUで工夫しながら作業しているようなものだ。そして、より大きなモデルの方が自然とより賢くなる傾向があるという事実は、自然と彼らを不利な立場に置く。しかし、その裏返しとして、必要は発明の母である。回避策を見つけ出さなければならなかったため。
彼らは実際にはるかに効率的なものを構築することになった。まるで「よし、最高級のモデルを手に入れろ。でもリソースは与えないから何か考えろ」と言われているようなものだ。数学的に不可能だと証明できない限り、常により効率的な何かを思いつくことはできる。
しかしそれにより、彼らはアメリカよりも効率的な解決策を見出す可能性が高くなる。もちろん、彼らはそれをオープンソース化したので、私たちはここでそれを採用することもできる。しかしそれを行うために彼らが築いているような才能は、時間とともに彼らの優位性になるだろう。アメリカのリーディングオープンソースモデルはMetaのLlamaファミリーだ。
それは本当に良い。あなたのコンピュータで実行できるようなモデルだ。しかしGBT-4にかなり近づいていたとしても、そのリリース時点で最も品質が近かったモデルは、コンピュータで実行できる70Bではなく、巨大な405Bだった。そのため、OpenAI、Anthropicの最も強力なクローズドモデルに匹敵する小さく、安価で、高速で、効率的なオープンソースモデルはまだなかった。
アメリカからも、Mistral AIからもない。そして彼らは、GPT-4の10分の1、Sonnetの15分の1のAPI価格で、信じられないようなモデルを登場させた。本当に高速で、1秒あたり16トークン〜60トークン、そしてベンチマークによっては4-oの品質と同等かそれ以上、一部では劣るものの。
しかしほぼそのレベルの品質圏内にある。そして彼らはそれをわずか2048台のH800 GPUで行った。これは実際にはおよそ1000〜1500台のH100 GPUに相当する。それはGPT-4が通常訓練に使用するGPU数の20〜30分の1で、総計算予算はおよそ500万ドルだ。
彼らはそれほど少ないお金で、そのような素晴らしいモデルを作り、無料で提供し、技術論文を書いた。これは確かに私たち全員に「モデル訓練のDoge版のようなものがあるとすれば、これはその例だ」と疑問を投げかけさせる。その通り。効率性、それがあなたが言いたいことだ。
価格も時間も一部。本質的に劣るGPUだ。彼らが何をしたのか理解したときの驚きはどうだった。私の驚きは、技術論文を読んで、彼らが思いついた賢い解決策の数だった。まず、彼らは専門家の混合モデルを訓練した。
それは簡単ではない。特にMoEアーキテクチャでOpenAIに追いつくのが難しい主な理由は、不規則な損失スパイクが多いからだ。数値が安定していないので、しばしば訓練チェックポイントを再開する必要があり、そのためのインフラ構築が多く必要になる。
そして彼らは追加のハックを加えることなく、それのバランスを取るための非常に賢い解決策を思いついた。また、少なくとも一部の数値については8ビット浮動小数点訓練を実現した。そして高精度が必要なものと低精度で良いものを賢く見分けた。私の知る限り、8ビット浮動小数点訓練はそれほどよく理解されていないと思う。
アメリカでの訓練のほとんどは依然としてFP16で実行されている。おそらくOpenAIと一部の人々がそれを探求しようとしているが、正しく実現するのは非常に難しい。しかし必要は発明の母であり、彼らはそれほど多くのメモリ、そんなに多くのGPUを持っていないため。彼らは訓練を機能させる多くの数値安定性の問題を解決した。
そして彼らは論文で、訓練の大部分が安定していたと主張した。それはどういう意味か？彼らは常にそれらの訓練を再実行し、より多くのデータやより良いデータで実行できる。そして、それはわずか60日間の訓練だった。それは本当に驚くべきことだ。あなたは間違いなく驚いたようだ。通常の知恵、あるいは私は知恵とは言わないが、神話は、中国人は単にコピーが得意だということだ。
だからもしアメリカで研究論文を書くのを止め、インフラストラクチャやアーキテクチャの詳細を説明するのを止め、オープンソース化を止めれば、彼らは追いつけないだろう。しかしDeepseek v3の詳細の一部は非常に優れているため、MetaがそれをMetaが見て取り入れようとすることも驚かない。彼らをコピーしようとするだろう。その通り。
必ずしもコピーとは言わないが、それは全て科学やエンジニアリングの共有だ。しかし重要なのは、それが変化しているということだ。中国は単なるコピーキャットではない。彼らも革新している。我々は訓練に使用されたデータについて正確には知らない。オープンソースであっても、訓練の方法や内容の一部は分かるが、すべてではない。
そしてそれは公開されているChatGPTの出力で訓練されたという考えがある。それは単にコピーされたことを意味するが、あなたはそれ以上のものがあると言っているのか？実際の革新があるのか？そうだ。彼らは14.8兆トークンで訓練を行った。インターネットにはChatGPTがあふれている。LinkedInの投稿やXの投稿を見れば。
今や、コメントの大部分はAIによって書かれている。それは明らかで、人々はただ書こうとしている。実際、Xでさえ、Grokツイートエンハンサーがあり、LinkedInにはAIエンハンサーがあり、Google DocsやWordにも。AIツールがあなたの文章を書き直すためにある。だからそこで何かをして、インターネットのどこかにコピー＆ペーストすれば、自然とChatGPTのような訓練の要素を持つことになる。そして多くの人々は私は言語モデルですという部分を削除することさえ面倒くさがる。
そう、そうだ。そして彼らはただそれをどこかに貼り付け、これをコントロールするのは非常に難しい。xAIもこれについて話をしていたと思う。だから、あなたは誰ですか、あるいはどのモデルですかというようなプロンプトに対して、そのように応答するからといって、彼らの技術的な成果を無視すべきではない。私の意見では、それは重要ではない。
長い間、私たちは、あなたも同意するかどうかは分からないが、中国はAIで遅れを取っていると考えていた。このレースにおいて、これは何を意味するのか？中国が追いついているとか、追いついたと言えるのか？つまり、もしMetaがOpenAIやAnthropicに追いついていると主張するなら、中国がアメリカに追いついているという同じ主張ができる。
o1の発表後、アメリカよりも中国からの方が、それを複製しようとする論文が多く出ているのを見た。Deepseekがアクセスできる計算能力は、米国のPhD学生がアクセスできる程度とほぼ同じだ。ちなみに、これは他人を批判するためではない。私たち自身、Perplexityでも、非常に高額なものだと考えたため、モデルの訓練を行わないことにした。
そして、他の人たちに追いつく方法はないと考えた。しかしDeepseekをPerplexityに組み込むのか？ああ、私たちはすでにそれを使い始めている。彼らはAPIを持っており、オープンソースの重みもあるので、自分たちでホストすることもできる。そしてそれを使い始めるのは良いことだと思う。なぜなら実際に、より低コストで多くのことができるからだ。
しかし私が考えているのはそれ以上のことで、これらの人々が実際に素晴らしいチームで、このような素晴らしいモデルを訓練できたのなら、アメリカの企業、私たち自身を含めて、同様のことを試みない言い訳はもはやないということだ。生成AIの研究面でも起業家側でも、多くの有識者から公に聞こえてくるのは、中国は追いつけないということだ。
イーロン・マスクやその他の人々は、賭け金があまりにも大きいと言う。地政学的な賭け金で、AIを支配する者が経済を支配し、世界を支配することになる。そのような大規模な観点で語られている。中国が証明した能力について心配しているか？まず、イーロンが中国は追いつけないと言ったことは知らない。ただ中国の脅威について。
彼は中国の脅威を特定しただけで、サム・アルトマンも同様のことを言っている。我々は中国にレースで勝たせるわけにはいかない。私の考えは、彼らが追いつかないようにするために行ったことは何も意味がなかったということだ。彼らはどうせ追いついた。あなたが言ったように、必要は発明の母である。そして実際に、あなたは知っているだろう、彼らが追いつかないようにするためにすべてのことを行い、このすべてのことよりも危険なのは、彼らが最高のオープンソースモデルを持っており、アメリカの開発者たちがそれを基に構築しているということだ。
それはより危険だ。なぜなら、彼らはマインドシェアとエコシステムを所有することになるからだ。アメリカのAIエコシステム全体が、一般的に、オープンソースがクローズドソースのソフトウェアに追いついたり改善したりすると、すべての開発者がそちらに移行することは知られている。それは歴史的に知られている。LlamaがZuckerbergを信頼すべきかという質問があった時、今や質問は中国を信頼すべきかということになっている。それは非常に…オープンソースを信頼すべきだ。それは誰かについてではない。
中国のものだからと言って、それは重要なのか？オープンソースであれば？見て、あなたは完全にコントロールを持っているという意味で重要ではない。自分のコンピュータ上で自分の重みとして実行し、モデルを担当しているのはあなただ。しかし、私たち自身の才能が他人が構築したソフトウェアに依存するのは良い光景ではない。
オープンソースであっても、オープンソースでなくなる時点が常にある。ライセンスは今日では非常に有利だが、もし…あなたはそれを閉じることができる…その通り、時間とともにライセンスを変更することは常に可能だ。だからこそ、アメリカに実際に構築する人々を持つことが重要で、そのためにMetaは非常に重要なのだ。
私はまだMetaがDeepseek v3よりも優れたモデルを構築し、それをオープンソース化すると考えている。彼らはそれをLlama 4か3点何かと呼ぶだろう。それは重要ではないが、より重要なのは、彼らを禁止し、止めることにすべてのエネルギーを費やすのではなく、競争して勝つことに注力することだ。それはただアメリカのやり方だ。ただより良くなることだ。
そして中国の企業がより多く、同様の方法で、より効率的に、よりコスト効果的に開発しているのを聞くような気がする。その通り。見て、不足を偽ることは難しい。100億ドルを調達して、その80%を計算クラスターに費やすことを決めたら、500万ドルしか持っていない人と同じ解決策を思いつくのは難しい。
そして、より多くのお金を投じている人々を非難する必要も意味もない。彼らはできるだけ早くそれを行おうとしている。オープンソースと言っても、多くの異なるバージョンがある。一部の人々はMetaがすべてを公開していないことを批判し、Deepseek自体も完全に透明ではない。
オープンソースの限界まで行って、訓練の実行を正確に再現できるべきだと言うことができる。しかしまず、そのためのリソースを持っている人がどれだけいるのか。そして技術報告書で彼らが共有した詳細の量は、ちなみにMetaもそうしたが、Metaのllama 3。
3の技術報告書は信じられないほど詳細で、科学にとって非常に素晴らしい。だから彼らが共有している詳細の量は、他の企業が現在行っているよりもすでにはるかに多い。Deepseekがこれを行うのにかかったコスト、600万ドル未満について考えると、OpenAIがGPTモデルの開発に費やした金額について考える。
これはクローズドソースモデル、エコシステムの軌道、モメンタムにとって何を意味するのか？OpenAIにとって何を意味するのか？4-oと同等かそれ以上のオープンソースバージョンが、はるかに安価に、完全に今年中に出てくることは非常に明確だ。OpenAIによって作られる？おそらくない。ほとんどありえない。
そして彼らが作らないことを気にしているとは思わない。彼らはすでにo1ファミリーモデルと呼ばれる新しいパラダイムに移行している。Ilya Sutskeverが来て、事前訓練は壁だと言った。つまり、彼は正確にその言葉を使ったわけではないが、明確に…そうだ…事前訓練の時代は終わったと言った。
多くの人々がそう言った。その通り。それはスケーリングが壁に突き当たったという意味ではない。私たちは今、異なる次元でスケーリングしていると思う。テスト時にモデルが考えに費やす時間。強化学習、つまりモデルが新しいプロンプトに対して何をすべきか分からない場合、推論し、データを収集し、世界と相互作用し、多くのツールを使用するようにすること。
それが物事が向かっている方向だと思うし、OpenAIは今それにより焦点を当てていると感じる。そうだね。より大きく、より良いモデルの代わりに？その通り。推論能力だ。しかしDeepseekが推論に注目を向けそうだと言わなかったか？100%、彼らはそうすると思う。そしてそれが彼らが次に作り出すものに非常に期待している理由だ。
それが私の質問だ。今のOpenAIの堀は何なのか？まだ、o1に似たシステムを作り出した人は他にいないと思う。確かに。o1が本当に価値があるかどうかについて議論があることは知っている。いくつかのプロンプトでは本当に優れているかもしれない。しかしほとんどの場合、Sonnetと区別できる出力を生成していない。
しかしo3で彼らが示した結果では、競争的なコーディングのパフォーマンスとほぼAIソフトウェアエンジニアレベルを達成していた。しかし、インターネットが推論データで満たされるのは時間の問題ではないのか？そうだ。Deepseekが。再び、それは可能だ。まだ誰も知らない。そうだ。
だからそれが実現されるまでは、まだ不確実なのか？その通り。だからおそらくその不確実性が彼らの堀なのだ。他の誰もまだ同じ推論能力を持っていないが、今年末までには持つかもしれない。複数のプレイヤーが推論分野にも参入するということか？間違いなくそう思う。では大規模言語モデルのコモディティ化を目にしているのか？事前訓練と事後訓練でそのようなシステムがコモディティ化されていくのと同様の軌道を今年見ることになると思う。そこではより多くのコモディティ化が起こるだろう。
推論型のモデルも同様の軌道を辿ると思う。最初は1、2のプレイヤーだけが本当にそれを行う方法を知っているが、時間とともに…それは。そして誰が知るだろう？OpenAIが別の進歩を遂げて焦点を当てるかもしれない。しかし今のところ推論が彼らの堀だ。ちなみに、進歩が何度も何度も何度も起こり続けるなら、進歩という言葉の意味も価値を失うと思う。その通り。
今でもそれは非常に難しい。なぜなら事前訓練の進歩があるからだ。そうだ。そして我々は異なるフェーズに移行した。そうだ。確実に起こることは、今日存在するどのようなモデルも、その推論レベル、マルチモーダル能力が5倍か10倍安価なモデルで、オープンソースで、すべてそれが起こるということだ。
それは時間の問題だ。不明確なのは、テスト時に推論するモデルのようなものが、私たちの電話で実行できるほど極めて安価になるかどうかということだ。それはまだ私には明確ではない。Deepseekが証明できたことで、景観の多くが変化したように感じる。
これを中国のChatGPTモメントと呼べるだろうか？可能だ。つまり、それは確かに彼らに多くの自信を与えたと思う。計算能力を制限しても、私たちは本当に遅れをとっているわけではないということを。常に回避策を見つけることができる。そして、はい、チームは結果に興奮していると確信している。
これは投資環境をどのように変えるのか。年間数百億ドルをCapExに費やしているハイパースケーラーたちは、それをさらに大幅に増やしている。そしてOpenAIとAnthropicは本質的にGPUのために数十億ドルを調達している。しかしDeepseekが私たちに示したのは、それは必要ないかもしれないということだ。
そうだ。つまり、見て、彼らは推論にさらに力を入れることは非常に明確だと思う。なぜなら彼らは理解しているからだ。過去2年間に彼らが構築していたものが極めて安価になり、それを正当化するための…支出の提案は同じなのか？彼らは同じ量の高性能GPUを必要とするのか、それともDeepseekが使用したような低性能なものでも推論できるのか？再び、証明されるまでノーとは言えない。
しかし私の推測では、迅速に動くという観点から、高性能チップを使用し、競合他社よりも速く進みたいと思うだろう。最高の人材は依然として、それを最初に実現したチームで働きたいと思うと思う。誰がこれを実際に行ったのか？誰が本当のパイオニアなのか？対して誰が早期追随者なのか？という栄光は常にある。それはSam Altmanのツイートのような形で暗示的な応答だった。Deepseekが達成できたことに対して、彼らは単にコピーしただけで、誰でもコピーできると暗示した。その通り？そうだ、しかし常にそう言うことができる。この分野では誰もが誰かをコピーしている。Googleが最初にトランスフォーマーを作ったと言える。OpenAIではなく、OpenAIはそれをコピーしただけだ。Googleは最初の大規模言語モデルを構築した。彼らはそれを製品化しなかったが、OpenAIは製品化した方法で行った。このように多くの方法で言うことができる。それは重要ではない。私はあなたに「なぜモデルを構築したくないのか？」と尋ねたことを覚えている。そうだ、それは栄光だ。そしてたった1年後、ほんの1年後、あなたは非常に賢く見える。非常に競争が激しくなった極めて高額なレースに参加しなかったことで。
そして今や、誰もが見たいと思っているものでリードを持っている。生成AIの実世界のアプリケーション、キラーアプリケーションだ。その決定と、それがどのようにあなたを導いたのか、Perplexityがこれからどこに向かうと考えているのかについて少し話してください。見て、1年前、私たちはこのようなものを持っていなかったと思う。これは2024年の初めだよね？Sonnet 3.5のようなものさえなかったと思う。
GPT-4はあったと思うが、誰も追いつくことができなかった。そう。しかしマルチモーダルは何もなく、私の感覚では、はるかに多くのリソースとはるかに多くの才能を持つ人々が追いつけないなら、そのゲームをプレイするのは非常に難しい。だから別のゲームをプレイしよう。
とにかく、人々はこれらのモデルを使いたがっている。そして質問をして、ソースと共に、リアルタイムの情報、正確な情報で回答を得るというユースケースがある。モデルの外側でまだやるべき仕事がたくさんあり、製品が確実に動作するようにし、使用量を拡大し続け、カスタムUIを構築し続ける。やるべき仕事がたくさんあり、私たちはそれに焦点を当て、モデルがより良くなり続けるという追い風の恩恵を受けるだろう。
それが本質的に起こったことで、実際、Sonnet 3.5は私たちの製品を非常に良くしたと言えると思う。Perplexity内でモデル選択としてSonnet 3.5を使用すると、幻覚を見つけるのが非常に難しい。不可能だとは言わないが、幻覚の発生率を劇的に減少させた。これは質問応答の問題、質問をして回答を得ること、ファクトチェックを行うこと、研究を行うこと、何でも尋ねることができることを意味する。なぜならほとんどすべての情報がウェブ上にあるからだ。これは大きなブレイクスルーだった。
そしてそれは、使用量に関して1年間で10倍の成長を遂げるのに役立った。そしてあなたはユーザー数で大きな進歩を遂げ、CNBCでは多くの大手投資家たちがあなたの大ファンだと聞く。そうだ。Jensen Huang自身が、そうだろう？彼は先日基調講演で言及した。そうだ。彼は実際に定期的なユーザーだ。単に言っているだけではない。
彼は実際に定期的なユーザーだ。1年前、私たちは収益化について全く話していなかった。なぜならあなたたちはまだとても新しく、自分たちを世に出して規模を構築したかったからだ。しかし今では広告モデルのようなものを検討している。その通り？そうだ、私たちはそれを実験している。なぜ広告をすべきなのか、広告があっても真実の回答エンジンを持つことができるのかについて、いくつかの議論があることは知っている。
私の意見では、私たちはそれについて非常に積極的に考えてきた。回答は常に正確で、偏りがなく、誰かの広告予算によって損なわれることがない限り、スポンサー付きの質問を見ることができ、それらのスポンサー付きの質問への回答も影響を受けず、質問も操作的な方法で選ばれることはないと言った。
確かに、広告主も望むことがいくつかある。彼らは自分たちのブランドについて知ってほしいし、ブランドの最高の部分を知ってほしい。ちょうど誰かに自己紹介するとき、自分の最高の部分を見てほしいと思うのと同じように。それはすべてそこにある。
しかしスポンサー付きの質問をクリックする必要はない。無視することができる。そして私たちは今のところCPMでのみ課金している。だから私たち自身もまだクリックさせる動機付けがない。これらすべてを考慮すると、私たちは実際に長期的に正しい方法を見つけようとしている。Googleのようにリンクをクリックすることを強制する代わりに。
1年前、人々がモデルのコモディティ化について話していた時、それは議論の的だったが、今はそうではない。それは起こっているし、あなたはそれに目を向けているのは賢明だ。ちなみに、私たちはモデルのコモディティ化から大きな恩恵を受けているが、有料ユーザーに提供するものも見つける必要がある。マルチステップの推論を行い、15分程度の検索を行って分析結果を提供する、より洗練された研究エージェントのようなものだ。
それはすべて製品に残り、そこで変わることは何もない。しかし、無料ユーザーが日々行う多くの質問は、速くて迅速な回答が必要だ。遅くてはいけない。そしてそれはすべて無料でなければならない。好むと好まざるとにかかわらず、無料でなければならない。
それは人々が慣れていることだ。そしてそれは、その無料トラフィックも収益化できる方法を見つけることを意味する。だからあなたはユーザーの習慣を変えようとしているわけではない。しかし興味深いのは、あなたは広告主に新しい習慣を教えようとしているということだ。彼らはGoogleの10個の青いリンク検索のようなものをすべて持つことはできない。
これまでの彼らの反応はどうだった？彼らはいくつかのトレードオフを受け入れる意思があるのか？そうだ、だからIntuitが私たちと協力している。そして他の多くのブランドがある。Dellのような、これらすべての人々が私たちと協力してテストしている。彼らも興奮している。見て、好むと好まざるとにかかわらず、5年か10年後には、ほとんどの人々が従来の検索エンジンではなく、AIに多くのことを尋ねることになることを、誰もが理解している。
だから誰もが新しいプラットフォーム、新しいUXの早期採用者になりたがり、そこから学び、一緒に物事を構築したいと思っている。「あなたたちがすべてを解決して、後で来る」というような見方はしていない。あなたが今日座ったときに最初に指摘したポイントに完璧に戻るので、私は笑顔になっている。必要は発明の母だ。そしてそれは本質的に広告主が見ているものだ。
彼らはこの分野が変化していると言っている。私たちはそれに適応する方法を学ばなければならない。よし、Arvind、あなたの時間をたくさん取ってしまった。時間を取ってくれてありがとう。
コメント