最初に私たちの次のゲスト、サム・アルトマンに会ったのは約20年前でした。彼はLoopedというローカルモバイルアプリに取り組んでいました。私たち二人ともシーコイア・キャピタルの支援を受けており、実際シーコイア・スカウツの第1期生でした。彼はあまり知られていないフィンテック企業のStripeに投資し、私はUberに投資しました。そのわずかな実験で、Uberに投資したんです。私はそのことを聞いたことがありませんでしたね。そうかもしれません。もう始まっていますね。ジェイコブ、あなたは本を書くべきかもしれません。勝者を称えましょう。
そのわずかな実験的ファンドで、サムと私が参加したスカウツは、シーコイアの中で最高の倍率を記録するファンドとなりました。数百万ドルの投資が2億ドル以上になったと聞いています。そう、ルオフから聞きましたよ。
そして彼は2014年から2019年までY Combinatorの社長を務めました。2016年には人工知能が人類全体の利益になるよう、OpenAIを共同設立しました。2019年にはYCを去り、OpenAIのCEOとして専任で働き始めました。
2022年11月30日に物事が本当に面白くなりました。その日OpenAIはChatGPTをリリースしました。2023年1月にはMicrosoftが100億ドルを投資しました。2023年11月、5日間の狂気の中でサムはOpenAIから解雇され、全員がMicrosoftに移ると言われ、X/Twitterで絵文字が話題になり、人々はチームが人工知能を達成したのではないかと憶測し始めました。世界が終わるかもしれないと。そして数日後、突然彼はOpenAIのCEOに戻りました。
2月にはサムがAIチッププロジェクトのために7兆ドルを調達しようとしているという報道がありました。これは、iPhoneの共同クリエイターであるジョニー・アイヴと共にiPhoneキラーを作るために、孫正義から10億ドルを調達しようとしているという報道の後でした。
これらすべては、ChatGPTがどんどん良くなり、家庭の名前になり、私たちの働き方に大きな影響を与えている中で起こっています。ChatGPTは史上最速で1億ユーザーを達成したと報じられています。わずか2ヶ月でです。OpenAIの驚異的な収益の伸びも見てください。昨年20億ドルのARRに達したと報じられています。
All-in Podcastへようこそ、サム・アルトマンさん。
ありがとうございます。
サックス、始めてもらえますか?
はい、もちろん。業界全体がGPT-5のリリースを心待ちにしていると思います。今年の夏にリリースされると報じられていますが、それはかなり広い期間ですね。もう少し絞り込めますか? GPT-5のリリースはどの段階にありますか?
私たちは主要な新モデルのリリースには時間をかけています。正確な時期は分かりませんが、リリースする時は素晴らしいものになると思います。慎重にアプローチしたいと考えています。これまでのGPTモデルとは異なる方法でリリースするかもしれません。また、GPT-5と呼ぶかどうかも分かりません。
多くの人が気づいているように、GPT-4はリリース以来、特にここ数ヶ月でかなり良くなっています。それが世界がどうなるかのヒントだと思います。1、2、3、4、5、6、7と順番に出すのではなく、AIシステムを使用し、システム全体が継続的に良くなっていくというものです。技術的にもより良い方向性だと思いますし、社会が適応するのも容易だと思います。そちらの方向に向かうと思います。
それは、長期的なトレーニングサイクルがなくなり、継続的に再トレーニングしたりサブモデルをトレーニングしたりするということですか? 大規模モデルについて、アーキテクチャ的に今後変わる可能性のあることについて話していただけますか?
想像できることの1つは、単純に継続的にトレーニングし続けることです。それは合理的なことのように思えます。
以前、別の方法でリリースすることについて話されましたが、今回は有料ユーザーに先行リリースしたり、レッドチームを厳密に行うために段階的にリリースすることを考えていますか? 今では多くの顧客が実際に料金を払っていて、誰もがあなたたちの一挙手一投足を見ているので、より慎重になっているのでしょうか?
はい、まだ有料ユーザーのみが利用可能ですが、無料ユーザーにもより高度な技術を提供する方法を見つけたいと考えています。それは私たちのミッションの非常に重要な部分だと思います。AIツールを構築し、無料または安価で広く利用可能にするというアイデアです。人々がそれを使って未来を発明できるようにするのです。空から魔法のようなAGIが降ってきて未来を見せるのではなく。それがより良い道筋だと思いますし、より刺激的な道筋だと思います。実際にそちらに向かっていると思います。
GPT-4レベルの技術を無料ユーザーに提供する方法をまだ見つけていないのは残念です。本当にそうしたいのですが、非常にコストがかかるんです。
シャマル、あなたの考えは?
サム、人々がいつも話題にする2つの大きなベクトルは、基礎となるコストと、キラーアプリを制限するようなレイテンシーだと思います。そして2つ目は、オープンソースの世界対クローズドソースの世界で人々が長期的に構築する能力だと思います。このスペースのクレイジーなところは、オープンソースコミュニティが熱狂的だということです。例えば、数週間前にDevonのデモを見せてもらいましたが、信じられないほど素晴らしかったです。そしてある子供が、オープンソースのMITライセンスで公開したんです。オープンDevonと呼ばれていて、信じられないほど優れていて、クローズドソースのものとほぼ同じくらい良いんです。
そこで、これらのモデルをクローズドソースに保つというビジネス上の決定について教えてください。今後数年でどのような方向に進むと思いますか?
あなたの質問の最初の部分について、速度とコストは非常に重要です。研究は難しいので、いつ大幅に削減できるかを明言したくありませんが、できると確信しています。レイテンシーを劇的に削減し、コストも劇的に削減したいと考えています。そしてそれは実現すると信じています。科学の発展とその仕組みの理解はまだ初期段階です。さらにエンジニアリング面での追い風もあります。
intelligence too cheap to meter(使用量を測定するのが無意味なほど安価な知能)や、瞬時に感じられるほど高速で、かなり高レベルの知能を実現できる時期は分かりません。しかし、そこに到達できると信じています。私たちにとって重要であり、ユーザーにとっても明らかに重要です。多くのことが可能になるでしょう。
オープンソースとクローズドソースの話については、両方に素晴らしい役割があると思います。私たちはいくつかのものをオープンソース化しましたし、将来的にもっとオープンソース化するでしょう。しかし、私たちのミッションはAGIに向けて構築し、その利益を広く分配する方法を見つけることです。そのための戦略があり、多くの人々に共感を得ているようです。明らかに全員のためのものではありませんし、大きなエコシステムがあります。オープンソースモデルもあるでしょうし、そのように構築する人々もいるでしょう。
個人的に特に興味があるオープンソースの分野は、私の携帯電話で動作する、できる限り優れたオープンソースモデルです。世界にはまだそのための良いバージョンの技術がありませんが、いつかはそれを実現することが非常に重要だと思います。
あなたがそれを行いますか? オープンソースのモデルをリリースしますか?
私たちがするかどうかは分かりません。誰かがするでしょう。Llama 3が携帯電話で動作するのでしょうか?
70億パラメータのバージョンなら携帯電話に収まるかもしれませんが、それが私が考えているような十分に優れているかどうかは分かりません。まだ試していないので。
Llama 3がリリースされたとき、多くの人にとっての大きな発見は「ああ、彼らはGPT-4に追いついた」ということでした。すべての面で同等ではないかもしれませんが、かなり近いか同等のレベルにあります。質問は、皆さんはGPT-4をかなり前にリリースしました。GPT-5または4のアップグレードに取り組んでいます。シャマルの指摘のように、Devinについてはオープンソースにどのように対抗しますか? 一般的に、それは非常に難しいことですよね。どのように考えていますか?
私たちが試みているのは、単に賢い重みの集合を作ることではありません。私たちが作ろうとしているのは、人々が使用できる有用な知能層であり、モデルはその一部です。私たちは世界の他の部分よりもかなり先を行けると思います。少なくともそう願っています。しかし、モデルの重み以外にも、システム全体に関する多くの作業があります。他のビジネスと同じように、古典的な方法で持続的な価値を構築する必要があります。素晴らしい製品と、それを使い続ける理由を見つけ出し、素晴らしい価格で提供する必要があります。
組織を設立したとき、述べられた目標または議論の一部は、「これは1つの企業が所有するには重要すぎるので、オープンにする必要がある」というものでした。その後、「誰もが見ることができるのは危険すぎるので、これをロックダウンする必要がある」という方向転換がありました。そのような恐れがあったのでしょうか? それとも、これは資本主義的な動きだったのでしょうか? オープンから「世界はこれを見る必要がある、とても重要だ」というものから、クローズドの「私たちだけが見ることができる」という結論に至った決定について、教えてください。
私たちがChatGPTをリリースした理由の1つは、世界にこれを見せたかったからです。AIが本当に重要だということを人々に伝えようとしてきました。2022年10月以前は、AIがそれほど重要になるとか、本当に起こっているとは考えていなかった人が多かったです。私たちが試みたことの大きな部分は、技術を人々の手に届けることでした。
再度言いますが、それを行う方法は異なります。「ここに重みがあります、どうぞ」と言うだけでなく、重要な役割があると思います。私たちには多くの人が無料版のChatGPTを使用しています。広告を表示したり、お金を稼ごうとしたりしていません。ただ人々にこれらのツールを提供したいからです。それは多くの価値を提供し、魚の釣り方を教えるだけでなく、世界がここで何が起こっているかを本当に考えるようになったと思います。
まだすべての答えを持っているわけではありません。他の人と同じように、私たちもこれを手探りで進めています。おそらく戦略を何度も変更するでしょう。新しいことを学ぶたびに。OpenAIを始めたとき、物事がどのように進むかまったく分かりませんでした。言語モデルを作るとか、製品を作るとか。最初の日、私たちは皆ここにいて、「さて、次は何をするんだろう?」と思いました。論文を書くべきかもしれない、ホワイトボードの周りに立って考えるべきかもしれない、と。私たちはただ一歩一歩進み、次は何か、その次は何かを見つけようとしてきました。そしてそれを続けていくつもりです。
何かを繰り返して、正しく聞こえたかどうか確認させてください。オープンソースとクローズドソースの話について、正しく聞こえたとすれば、これらのモデルは、ビジネス上の決定に関係なく、ある程度の精度に向かって漸近的に正確になっていくということですね。すべてではありませんが、十分な資金力を持つ4〜5社、例えばあなたたち、Meta、Google、Microsoft、それに1社くらいのスタートアップと、オープンウェブ上で、そしてすぐにモデルの精度や価値は、他の人が得られない独自のトレーニングデータソースに移行するのでしょうか? それともあなたが得られないデータソースに? そういう風に進化していくと見ていますか? オープンウェブが誰もが一定のレベルに到達させ、その後はデータをめぐる軍拡競争になるということでしょうか?
そうは思いません。モデルが十分賢くなれば、ある時点でトレーニングにはもはやデータは必要なくなるはずです。少なくともトレーニングのためには。使いやすくするためのデータは重要かもしれません。
これらすべてについて、数年先の状況を確信を持って言及するのは難しいということを最も学びました。だから今は予測しようとは思いません。ただ、世界中に非常に有能なモデルがたくさん存在するようになると予想しています。私たちが自然や科学の新しい事実を偶然発見したような感じです。文字通りそうだとは思いませんが、精神的な意味で、知能は単に物質の創発的特性だということです。それは物理法則のようなものです。
人々はそれを理解するでしょうが、システムを設計する方法はさまざまで、人々は異なる選択をし、新しいアイデアを見つけるでしょう。他の産業と同様に、複数のアプローチがあり、人々は異なるものを好むと予想します。iPhoneが好きな人もいれば、Androidが好きな人もいるように。そのような効果があると思います。
最初のセクションに戻りましょう。コストと速度の話です。あなたたち全員が、文字通りNVIDIAのスループットによってレート制限されていますね。あなたやほとんどの人が、実質的にどれだけの容量を得られるかを発表しているのは、彼らが生産できる量だけだからです。基盤で何が起こる必要があるのでしょうか? 実際により安く計算し、より速く計算し、より多くのエネルギーにアクセスできるようになるために? あなたは、産業界がこれらの問題を解決するのを枠組みづくりするのにどのように役立っていますか?
私たちは間違いなく大きなアルゴリズムの進歩を遂げるでしょう。そのことを軽視したくありません。チップやエネルギーにも非常に興味がありますが、同じ品質のモデルを2倍効率的にできれば、それは計算能力が2倍になったのと同じです。そこには膨大な作業の余地があると思います。近いうちにその結果が本当に見られるようになることを願っています。
それ以外に、サプライチェーン全体が非常に複雑です。ロジックファブの生産能力、世界がどれだけのHBMを作れるか、データセンターの許可を得て、コンクリートを流し込み、建設し、人々がそこで配線作業をするのにどれだけ早くできるか、大きなボトルネックとなるエネルギーを見つけることなどがあります。しかし、人々にとってこれほど価値があれば、世界は自然とそうなるでしょう。私たちはそれをより早く実現しようと努力します。
おそらく、どう数字を出せばいいか分かりませんが、あなたが言ったように、基盤に大きなブレークスルーがあり、計算をはるかに効率的に行う方法が見つかる可能性が何パーセントかあります。しかし、それに頼ったり、それについて考えすぎたりはしません。
デバイス側についてはどうですか? 電話に収まるモデルについて言及されましたが、LLMやSLM、あるいは何かしらのモデルについて考えておられると思います。しかし、デバイス自体は変わるのでしょうか? iPhoneほど高価である必要はありますか?
私はこれに非常に興味があります。素晴らしい新しいコンピューティングのフォームファクターが大好きです。主要な技術的進歩のたびに、新しいことが可能になるような気がします。携帯電話は信じられないほど優れているので、ハードルはとても高いと思います。個人的には、iPhoneは人類が今まで作った最高の技術だと思います。本当に素晴らしい製品です。その次に来るものは何でしょうか? 分かりません。
ジョニー・アイブと何か作業をしているという噂がありましたね?
アイデアについて議論はしていますが…もし分かっていたら…
より複雑になるのか、それともずっと安くてシンプルになるのか、どちらだと思いますか?
ほとんどの人が携帯電話にお金を払う気があるので、もっと安いデバイスを作れたとしても、2つ目のものを持ち歩いたり使ったりする障壁はかなり高いと思います。
携帯電話にお金を払う気がある人が多いので、より安いことが答えだとは思いません。違うものが答えになるでしょう。
携帯電話サイズのAIモデルを効率的に実行できる特殊なチップがあるかもしれませんね。
おそらくそうでしょうが、携帯電話メーカーは間違いなくそうするでしょう。それは新しいデバイスを必要としません。本当に異なるインタラクションパラダイムを見つける必要があり、技術がそれを可能にするのです。もし分かっていたら、今すぐ取り組むのが楽しみだったでしょう。
今、アプリで音声が動作していますね。実際、私は携帯電話のアクションボタンを設定して、ChatGPTの音声アプリに直接アクセスするようにしました。子供たちと一緒に使っていて、彼らは大好きです。レイテンシーの問題はありますが、本当に素晴らしいです。
改善していきます。音声は次のものへのヒントだと思います。音声インタラクションが本当に良くなれば、それは異なるコンピューターの使い方に感じるでしょう。しかし、現在のところ…
現在はCBのようで、本当に使うのは面倒ですね。正しい答えを出すと素晴らしいのですが。
私たちはそれに取り組んでいます。現在はとても不便で、遅く、スムーズでも本物でも有機的でもありません。それらすべてをずっと良くしていきます。
コンピュータービジョンについてはどうですか? メガネを作るか、ペンダントを身につけるかもしれません。視覚データやビデオデータと音声を組み合わせれば、AIはあなたの周りで起こっていることすべてを知ることができます。「ねえChatGPT、私が見ているものは何?」とか「これはどんな植物か分からないんだけど」と言えるのは非常に強力です。
それは明らかにもう1つのヒントですね。しかし、人々がメガネをかけたいと思うか、それが必要なときに何かを持ち上げたいと思うか…社会的な対人関係の問題がたくさんあります。顔にコンピューターを着けることについては非常に複雑です。
Google Glassで見ましたね。ミッション地区で人々が顔を殴られ始めました。
そのことを忘れていました。
AIが人々の携帯電話で普遍的になった場合、どのようなアプリケーションが可能になると思いますか? それとも、どのようなものが構築されることを望みますか?
個人的に欲しいのは、常時オン、摩擦の非常に少ないもので、音声やテキスト、理想的には他の方法でも、私が望むことを知っているような constant thing(常に存在するもの)です。可能な限り多くのコンテキストを持った世界最高のアシスタントのようなものです。それは私をより良くするために働く存在です。
人々がAIの未来について話すとき、2つの異なるアプローチを想像しているようです。それほど違いはないように聞こえますが、実際にシステムを設計する上では非常に異なると思います。
1つは、自分自身の拡張が欲しいというものです。幽霊や分身のようなもので、本当に私であり、私の代わりに行動し、私に知らせることなくメールに返信するようなものです。それはより私になり、私です。
もう1つは、優秀な上級社員が欲しいというものです。私のことをよく知るかもしれませんし、多くのことを委任するかもしれません。メールにアクセスを与え、制約を伝えるかもしれません。しかし、それは別の存在として考えます。
個人的には、別の存在のアプローチの方が好きで、そちらに向かうと思います。その意味で、それはあなたではなく、常に利用可能で常に素晴らしい、非常に有能なアシスタント、エグゼクティブ、エージェントのようなものです。あなたの代わりに外に出て働き、あなたが望むことを理解し、あなたが望むことを予測するようなものです。そう理解しました。
エージェントのような振る舞いはあると思いますが、上級社員とエージェントには違いがあります。
上級社員の良いところの1つは、私に反論してくれることです。時には私が頼んだことをしないこともあるし、「それはできますが、もしそうしたらこうなると思います。そしてこうなって、本当にそうしたいですか?」というような感じでしょう。
そういう雰囲気が欲しいです。単に私が頼んだことを盲目的に実行するのではなく、推論できるものです。
そうですね、推論でき、反論もできる。人間関係のようなものを期待できます。本当に有能な人と一緒に働くような関係です。それは追従者とは違います。
そのような世界で、Jarvisのようなものがあり、推論できるとしたら、今日使用している製品のインターフェースにどのような影響があると思いますか? 例えば、Instacart、Uber、DoorDashなどは、80億人のために普遍的に働くスマートなエージェントのセットにAPIを提供するだけのパイプになることを意図していません。エージェント的に世界とインターフェースする世界で、アプリの仕方や、これらの体験全体のインフラストラクチャがどのように機能する必要があるかについて、考え方をどのように変える必要があると思いますか?
実際、人間とAIの両方が同じように使用できる世界を設計することに非常に興味があります。その解釈可能性、ハンドオフのスムーズさ、フィードバックを提供できる能力などが気に入っています。
例えば、DoorDashは将来のAIアシスタントに単にAPIを公開し、注文を入れることができるようにするかもしれません。あるいは、「AIアシスタント、DoorDashでこの注文を入れて」と言えば、アプリが開いて操作しているのを見ることができ、「いや、これじゃない」とか「…」と言えるでしょう。
人間とAIの両方が同じように使いやすい世界を設計することに何か興味深いものがあると思います。
人型ロボットの方が、他の形のロボットよりも興味深いですね。世界は非常に人間向けに設計されています。そしてそれは絶対にそのままにすべきだと思います。共有インターフェースは良いですね。
音声チャットでそのモダリティを見ていますね。アプリを取り除いて、ただ寿司を頼むと、あなたの好きな寿司を知っていて、嫌いなものも分かっていて、最善を尽くしてくれる…
「ねえChatGPT、寿司を注文して」と言って、「はい、このレストランからにしますか? どんな種類にしますか? 何時にしますか?」などと返ってくるような世界に完全に移行するのは想像しづらいですね。視覚的なユーザーインターフェースは多くのことに非常に適していると思います。
声だけのモードを使用して、画面を一度も見ないような世界は想像しづらいですが、多くのことにはそうなると思います。
そうですね。AppleはSiriで試しましたね。Siriで自動的にUberを注文できるはずですが、誰もやったことがないと思います。なぜリスクを取るのでしょうか?
あなたの指摘のように、品質が十分でないからです。しかし、品質が十分に良くなれば、実際にそちらを好むようになるでしょう。単に軽量だからです。電話を取り出したり、アプリを探したり押したりする必要がありません。自動的にログアウトしてしまって、ログインし直す必要もありません。面倒くさいですよね。
Siriでタイマーを設定するのは、毎回やっています。うまく機能するし、素晴らしいからです。より多くの情報は必要ありません。
しかしUberを注文するのは、いくつかの異なるオプションの価格を見たいし、どれくらい離れているかも見たいし、地図上のどこにいるかも見たいかもしれません。歩いて行くかもしれないので。Uberの注文画面を見る方が、音声チャンネルを通してそれをすべて行うよりも、少ない時間で多くの情報を得られると思います。
操作を見ることができるというアイデアは面白いですね。
そうですね、異なるタスクに対して異なるインターフェースを使用し続けると思います。
OpenAIでアプリやエクスペリエンスを構築している開発者の中で、特に目立つものはありますか? 「これは本当に興味深い方向に向かっている」と思うようなものがあれば、たとえおもちゃのようなアプリであっても教えてください。
今朝、新しい会社、というか2人の人が夏のプロジェクトに取り組もうとしているのに会いました。彼らは実際にAIチューターを作ろうとしています。私はこの分野に常に興味がありました。多くの人が私たちのプラットフォームで素晴らしいものを作っていますが、彼らが使った表現が気に入りました。「これは人々の学び方のモナドレベルの再発明になるだろう」と。
しかし、人々が自分で探索し、新しい方法で学ぶことを可能にする新しい方法を見つけることができれば、個人的にそれはとてもエキサイティングだと思います。
コーディング関連のものの多くも、先ほどDevonの話が出ましたが、未来のとても cool な vision だと思います。
医療も、AIによってかなり変革されると信じています。
しかし、個人的に最も興奮しているのは、より速く、より良い科学的発見を行うことです。GPT-4は明らかにまだそこまで到達していませんが、科学者をより生産的にすることで少し加速させるかもしれません。
AlphaFold 3、それはね…
サム、それは大勝利になるでしょう。これらのモデルは言語モデルとは異なる方法でトレーニングされ、構築されています。明らかに多くの類似点はありますが、多くの違いもあります。これらの特定の問題セット、特定のアプリケーションに適用されるこれらのモデルの多くには、かなりの程度のゼロからのアーキテクチャが必要です。例えば、化学的相互作用のモデリングなどです。
確かに、その一部は必要になるでしょう。しかし、これらの多くのことに全般的に欠けていると思うのは、推論を行うことができるモデルです。推論ができれば、化学シミュレーターに接続したり…
そうですね、それが重要な質問です。今日話したかったのは、モデルのネットワークについてのこのアイデアです。人々は、一連の線形な関数呼び出しが起こるかのようにエージェントについて多く話しています。しかし、生物学で起こることの1つは、相互作用のあるシステムのネットワークです。システムの集合、ネットワークの集合が出力を生成するのであって、1つのものが別のものを呼び出し、それがさらに別のものを呼び出すのではありません。
このアーキテクチャにおいて、専門化されたモデルやネットワークモデルの出現が見られるでしょうか? これらは協力して、より大きな問題セットに取り組み、推論を使用し、化学や算術などを行う計算モデルがあり、他のモデルがあるのでしょうか? 純粋に一般化された「すべてを支配する1つのモデル」ではなく。
分かりません。推論がどの程度一般化可能なものになるかはわかりません。そうなることを期待し、直感的にそう思いますが、それ以上のものではありません。
しかし、タンパク質モデリングの例を見てみましょう。タンパク質の画像とシーケンスデータがたくさんあり、予測モデルを構築し、それを行うための一連のプロセスとステップがあります。
人工知能やこの素晴らしい推論モデルが、必要なデータを取得し、その問題を解決するためのサブモデルを構築する方法を見つけると想像していますか?
それが進む可能性は多くあります。文字通りのモデルをトレーニングするかもしれませんし、あるいは大きな1つのモデルが、どのような追加のトレーニングデータが必要かを選び、質問をして、それに基づいて更新するかもしれません。
本当の質問は、これらのスタートアップは全滅するのかということです。多くのスタートアップがそのようなモダリティで働いています。特別なデータを取得し、そのデータで新しいモデルを一から訓練し、そのモデルは1つのことだけを行い、それをとてもうまくこなし、他の何よりもそのことに優れているというものです。
生物学とこれらの複雑なシステムのネットワークについて話していたとき、私が微笑んでいたのは、最近ひどく病気になったからです。今はほとんど良くなりましたが、体がシステムを1つずつ打ちのめされていくのが本当によく分かりました。これらのシステムがどれほど相互作用しているか、何かがおかしくなるまで全く分からないんです。それは興味深いことでした。
ChatGPTを使って何が起こっているのか理解しようとしていました。1つのことが分からないと言うと、論文を読まずに投稿しただけで、「あ、それが分からなかったことだ。今はこう考えます」と言うんです。これはあなたが話していたことの小さなバージョンです。これが分からないと言えば、より多くの情報を入れることができ、モデルを再トレーニングする必要はなく、コンテキストに追加するだけで、新しい回答が得られるんです。
タンパク質構造を予測するこれらのモデル、例えばAlphaFold 3は他の分子もできますよね、今では。基本的に、最高の一般化モデルがそのトレーニングデータを取得し、自分で理解し、そして…例を挙げてもらえますか? Soraについて教えてください。素晴らしい動く画像、動く動画を生成するビデオモデルです。アーキテクチャがどのように異なるのか、共有できることがあれば教えてください。
まず一般的なことについて言えば、明らかに専門的なシミュレーター、コネクター、データの断片などが必要になるでしょう。しかし、私の直感では – これは科学的に裏付けられたものではありませんが – もし一般化された推論の核心を理解できれば、人間が一般化された推論者であるのと同じように、新しい問題領域に接続することは可能だと思います。それはより速い突破口になると思います。
Soraは言語モデルから始まっていません。ビデオを作るためにカスタマイズされたモデルです。つまり、私たちはまだそのような世界には至っていません。
つまり、良いビデオモデルを構築するために、あなたたちはゼロから構築し、異なるアーキテクチャと異なるデータを使用したということですね。しかし、将来的には、一般化された推論システム、AGIシステムが理論的にそれをレンダリングできるようになり、それを行う方法を見つけ出すことができるということですね。
その一例は、知る限り、世界最高のテキストモデルはまだ多くの回帰モデルであり、最高の画像とビデオモデルは拡散モデルだということです。それはある意味で奇妙ですね。
トレーニングデータについて大きな議論がありますね。あなたたちは、どの企業よりも思慮深くアプローチしていると思います。今ではFTなどとライセンス契約を結んでいます。ニューヨーク・タイムズとの訴訟に関わっているので慎重に扱わなければなりませんが、トレーニングデータについて彼らと合意に至ることができなかったようですね。公平性とフェアユースについてどのように考えていますか? このポッドキャストでも大きな議論がありました。明らかにあなたの行動は、ライセンス契約を結ぶことで公平であろうとしていることを示しています。
美しい音楽、歌詞、本を創作するアーティストの権利について、あなたの個人的な立場を教えてください。それを取得し、派生製品を作り、そしてそれを収益化することについて。そして、何が公平で、アーティストが世界でコンテンツを作り、他の人々に何をしてほしいかを決定できる世界にどのように到達できるでしょうか?
あなたが思慮深い人物だと知っているので、個人的な考えを聞かせてください。私たちの業界の多くの人々が、コンテンツクリエイターについてあまり思慮深くないことを知っています。
異なる種類のものに対して非常に異なると思います。フェアユースについては、現行法の下では非常に合理的な立場にあると思います。しかし、AIは非常に異なるので、アートのようなものについては異なる方法で考える必要があるでしょう。
例えば、インターネットで数学をたくさん読んで数学の仕方を学ぶのは、ほとんどの人にとって問題ないように思えます。そして、別の一群の人々は異なる意見を持つかもしれません。このあたりは、答えを長くしすぎないようにしましょう。
一方の極端には、一般的な人間の知識があります。ピタゴラスの定理について学ぶようなものは、ある種のオープンドメインのようなものです。
そしてもう一方の極端な端には、アートがあります。さらに具体的に言えば、別のアーティストのスタイルや特徴を模倣してアートを生成するシステムが、最も極端な例だと思います。その間には多くの事例があります。
これまでの議論は歴史的にトレーニングデータに集中していましたが、トレーニングデータの価値が低下し、システムが推論時にリアルタイムで情報にアクセスしたり、何かを行ったりするようになるにつれて、推論時に何が起こるかがますます議論の的になるでしょう。そして、そこでの新しい経済モデルがどうなるかも議論されるでしょう。
例えば、「テイラー・スウィフトのスタイルで曲を作って」と言った場合、たとえそのモデルがテイラー・スウィフトの曲で一切トレーニングされていなくても、問題が生じる可能性があります。モデルはテイラー・スウィフトについて読んだり、彼女のテーマを知っているかもしれません。テイラー・スウィフトは何かを意味します。そして問題は、テイラー・スウィフトの曲で全くトレーニングされていないモデルでも、それを行うことが許可されるべきか、そしてもしそうなら、テイラーはどのように報酬を得るべきか、ということです。
まず、その場合はオプトインかオプトアウトがあると思います。そして経済モデルがあります。
音楽の例に留まると、歴史的な観点から見て興味深いのは、サンプリングとそれに関する経済の仕組みです。これは全く同じことではありませんが、検討を始めるのに興味深い点です。
サム、あなたが挙げた例で、モデルが曲構造、テンポ、メロディ、ハーモニーの関係など、音楽を成功させる基本的な構造をすべて学び、そしてトレーニングデータを使用して新しい音楽を構築することと、人間が多くの音楽を聴いて学び、脳が同じような予測モデルや発見、理解を構築することの違いは何でしょうか? なぜここに違いがあり、なぜアーティストが特別に支払いを受けるべきだと主張しているのでしょうか? これはサンプリングの状況ではありません。AIは元の曲を出力しているわけでも、モデルに保存しているわけでもありません。構造を学んでいるだけです。
その点を主張しようとしていたわけではありません。人間が他の人間からインスピレーションを受けるのと同じように、「テイラー・スウィフトのスタイルで曲を生成して」と言った場合、プロンプトが特定のアーティストを利用していると思います。個人的には、それは異なるケースだと思います。
音楽モデルが、ロイヤリティをアーティストに支払うことなく、人間が作った音楽の全体を学習することを快く思いますか? そして、アーティスト特定のプロンプトは許可されず、単に「現代的な失恋をテーマにしたクールなポップソングを女性の声で演奏して」と言うことしかできないとしたら?
現在、私たちは音楽を扱わないという決定をしています。それは部分的に、境界線をどこに引くかという、まさにこれらの質問があるからです。最近、私が本当に尊敬しているいくつかのミュージシャンと会って、これらのエッジケースについて話し合おうとしていました。
例えば、仮に1万人のミュージシャンに支払いをして、音楽モデルが曲構造や魅力的なビートについてすべてを学べるような素晴らしいトレーニングセットを作るために多くの音楽を作ってもらったとします。そしてそれだけでも素晴らしい音楽モデルを作れるかもしれません – おそらく作れるでしょう。
このような思考実験をミュージシャンに提示すると、彼らは「そうなると、原則的には反対できないね」と言います。それでも、何か気に入らないものがあるのです。
必ずしもそれをしない理由にはなりませんが、この種のプラットフォームで可能なことの一例に過ぎません。正直に言って、ここで私が言っていることは、その能力とインパクトの表面をなぞっているだけです。
アップルが昨日か一昨日に出した広告を見ましたか? 人間の創造性をすべて一つの薄いiPadに押し込んだような広告でしたが、あなたの感想は?
人々は予想以上に強い反応を示しましたね。
AIに対して非常にポジティブですが、人間の創造性や人間の芸術表現には美しいものがあると思います。より良い科学を行うAIなら、素晴らしいことです。でも、この深く美しい人間の創造的表現を行うAIについては、どのように進めるべきか考える必要があります。
それは起こるでしょうし、より大きな創造的高みへと私たちを導くツールになるでしょう。しかし、私たちが大切にしているものの精神を保ちながら、それを実現する方法を見つける必要があると思います。
あなたの行動は雄弁に物語っています。DALLEでスター・ウォーズのキャラクターを作ろうとしたら、ダース・ベイダーを要求すると「それはできません」と言われました。内部的に制限をかけているんですね。他人のIPを使うことを許可していないということですね。
しかし、ジェダイ・ブルドッグやシス・ロード・ブルドッグを作ってくれと頼むと – 実際に私のブルドッグをシス・ブルドッグにしてくれました – これはあなたのスペクトラムについて興味深い質問を投げかけます。
昨日、私たちは「spec」と呼ばれるものを公開しました。そこでは、私たちのモデルがどのように振る舞うべきかを説明しようとしています。それは非常に長い文書で、各ケースで制限をどこに設けるべきかを正確に指定するのは非常に困難です。これは更なる多くの意見を必要とする議論だと考えています。
ダース・ベイダーを生成すべきではないかもしれませんが、シス・ロードやシス・スタイルのもの、あるいはジェダイのアイデアは、この時点で文化の一部になっているという、これらすべては難しい決定です。
音楽業界はこれをテイラー・スウィフトの曲を作る機会だと考えるでしょう。フェアユース・テストの4つの部分の1つは、既存のアートに対する新しいイノベーションを誰が資本化できるかということです。ディズニーは、SoraバージョンのAhsokaやオビ=ワン・ケノービを作るのはディズニーの機会だと主張するでしょう。それはあなたにとって素晴らしいパートナーシップになる可能性がありますね。
「AIを規制する」と人々が言うとき、それは何を意味するのでしょうか? また、カリフォルニア州の新しい規制案についてもコメントしていただけますか?
カリフォルニア州の提案のほとんどについて懸念しています。また、州がそれぞれ独自に行うことへの一般的な恐れもあります。
人々が「AIを規制する」と言うとき、1つのことを意味しているとは思いません。「全面禁止」と言う人もいれば、「オープンソース化を禁止する」「オープンソース化を義務付ける」という人もいます。
個人的に最も興味があるのは、近い将来 – 何十年も先の話ではありません – AIのフロンティアシステムが重大な世界的危害を引き起こす可能性がある時が来るだろうということです。そのような システムに対しては、核兵器や合成生物学など、1つの国を超えて非常に負の影響を与える可能性のあるものに対する世界的な監視と同じように、最も強力なシステムを見て、合理的な安全性テストを確保する国際機関のようなものがあるといいと思います。
これに対する批判は、あなたたちにはリソースがあり、ロビー活動をしたり、政治家と関わったりすることができるが、私たちが情熱を持ち投資しているスタートアップにはそのようなリソースがないということです。これは規制の捕捉ではないでしょうか? 私たちの友人ビル・ガーリーが去年素晴らしい話をしていましたが、これについて直接お答えいただけますか?
100億ドル以上、あるいは1000億ドル以上のコストがかかるコンピューターでトレーニングされたモデルだけを見るという線引きがあれば、それで構いません。何らかの線引きがあれば大丈夫です。それはスタートアップに規制上の負担をかけることにはならないと思います。
核爆弾を作るための核原料を持っている人は少数に限られているので、核査察官のような状況になると?
それは興味深いですね。サックス、質問はありますか?
規制の行き過ぎには非常に神経質になると思います。やりすぎたり、少しやりすぎたりすることで間違いを犯す可能性がありますし、十分にやらないことでも間違いを犯す可能性があります。しかし、起こりそうなことと、それを正しく行うために何が必要かについて話すことは、私たちの義務であり、ミッションの一部だと思います。
サム、課題は、人々を守り、社会全体を守ることを目的とした法令があることです。しかし、私たちが作っているのは、政府にコードを監査し、ビジネスを監査し、企業秘密を監査する権利を与える法令です。これほどの程度まで見たことがありません。
基本的に、カリフォルニア州で提案されている法律や、連邦レベルで提案されているいくつかの法律は、政府がモデルを監査し、ソフトウェアを監査し、モデルのパラメータや重みを審査および確認することを要求しています。そして、商業利用や公共利用のために展開する前に、彼らのチェックマークが必要になります。
私にとっては、政府機関が恐れのために、そして人々がこれを理解するのに苦労し、その影響を恐れているために、コントロールしようとしているように感じます。コントロールしたいと思い、コントロールする唯一の方法は「リリースする前に監査する権利を与えてください」と言うことです。これらの人々にはまったく見当がつきませんよね。これらの文書の書き方を見ると、髪をかきむしりたくなります。ご存知の通り、12ヶ月後にはこれらのことの大部分が意味をなさなくなるでしょう。
その通りです。大局的な問題に対して機関ベースのアプローチを押し進めてきた理由は、法律に書き込むのではないからです。12ヶ月後にはすべてが間違って書かれてしまうでしょうし、たとえこれらの人々が世界の真の専門家だったとしても、12ヶ月や24ヶ月先を見越して正しく書くことはできないと思います。
「すべてのソースコードを見て、すべての重みを一つ一つ見ていく」というこれらの政策は、はい、多くのクレイジーな提案があると思います。特に、モデルが常に再トレーニングされ、より動的になった場合はそうです。
飛行機が認証される前に一連の安全性テストを行うのと同じように、モデルの出力を確認するのであって、モデルの内部を見直すのではありません。
安全性テストとしては理にかなっていると思います。しかし、それをどのように実現するのでしょうか? OpenAIだけでなく、業界全体、人類全体のために話しているのですが、これらの信じられないほどの技術の成長を制限することで、人類が大きく繁栄できるような暗黒時代のような時代に自らを追い込んでしまうのではないかと懸念しています。
政府レベルで全てが急速に動いており、人々は間違った方向に進んでいるように見えます。どのようにしてその考えを変え、それを実現させることができるでしょうか?
サム、Llamaが取ったアーキテクチャ上の決定は非常に興味深いと思います。Llamaをできるだけ制約なく成長させ、Llama Guardと呼ばれる別のものを保護的なガードレールとして機能させるという考え方です。これが問題を正しく解決する方法だと考えていますか? それとも、現在のモデルの強さでは、確実に何か問題が起こると考えていますか?
現在のモデルの強さでは、確かに何か問題が起こる可能性があります。それを軽視したり、真剜に受け止めないわけではありません。しかし、GPT-4レベルのモデルに関しては、壊滅的なリスクの懸念は持っていません。
これを安全に展開する方法は多くあると思います。もしかしたら、技術的に再帰的自己改善が可能なモデル、あるいは自律的に生物兵器を設計・展開できるモデル、または新しいモデルを作れるモデルなどについて、国際レベルでの出力の安全性テストを行うべきだという点で、より共通の理解が得られるかもしれません。
もちろん、GPT-4はそのような脅威を全く与えないと言いたいところですが、断言は避けます。このようなモデルを安全にリリースする方法は多くあると思います。
しかし、重大な人命損失の可能性が真剋な場合、飛行機や他の多くの例と同様に、何らかのテストフレームワークがあることは良いことだと思います。飛行機に乗るとき、安全だと思って乗りますよね。
サム、仕事に関して今多くの心配があります。YCにいたときにUBIについて何かテストをしたと聞きました。その結果はすぐに出るのでしょうか?
5年間の研究が終わったところです。最初にベータ研究があり、その後長期の研究が行われました。
なぜそれを始めたのか説明していただけますか? まずUBIについて説明し、なぜそれを始めたのか教えてください。
私たちは2016年頃からこれについて考え始めました。AIを本当に真剋に考え始めたのと同じ頃です。その理論は、社会や仕事、経済、そしてある意味ではそれ以上に深い社会契約がどのようになるかという変化の大きさが、新しい方法を研究するための多くの研究が必要だということでした。
また、政府が貧困層を支援するために設計されたほとんどの政策をうまく扱っているとは思えません。単に人々にお金を与えれば、彼らは良い決定をし、市場がその役割を果たすと信じています。私は貧困を減らし、なくすことに大いに賛成です。しかし、これまでの社会保障網や物事の扱い方よりも、より良い方法に興味があります。
人々にお金を与えることですべての問題が解決されるわけではありませんし、確実に人々を幸せにするわけでもありません。しかし、いくつかの問題を解決し、人々がより良い展望を持って自分自身を助ける可能性があります。私はそれに興味があります。
2016年は本当に長い時間前です。AIの開発の仕方が見えてきた今、UBIの従来の概念よりも良いことがあるのではないかと思います。例えば、将来はユニバーサル・ベーシック・インカムというよりも、ユニバーサル・ベーシック・コンピュートのようなものになるのではないでしょうか。
皆がGPT-7の計算能力の一部を得て、それを使用したり、再販売したり、がん研究に使用する誰かに寄付したりできるようになるかもしれません。得るのはドルではなく、この生産性の一部です。
ゴシップの部分に移りましょうか。ゴシップ？何のゴシップですか?
11月に戻りましょう。一体何が起こったんですか?
具体的な質問があれば、答えられるかもしれません。いつか話すと言っていましたよね。
あなたは解雇されました。復帰について話し合い、その時点では何をしたいのか少し不確かでした。非常に動揺していたからです。OpenAIと人々を本当に愛していることに気づき、戻ることにしました。難しいだろうとは分かっていましたが、思っていた以上に難しかったです。
戻ることに同意しました。取締役会はしばらく物事を整理するのに時間がかかりました。私たちはチームをまとめ、顧客のために物事を進めようとしていました。そして他の計画を立て始めていました。その後、取締役会は別の暫定CEOを雇うことを決めました。そして多くの人が…ああ、その人の名前は何でしたっけ? スカラムッチのように短い期間でしたね。
彼については何も言うことはありません。
解雇されたことを知ったのはどこにいたときですか?
F1の週末にラスベガスのホテルの部屋にいました。テキストメッセージが来て、「解雇された」と。電話をかけてきて、そしてそれでおしまいでした。
その後すべてが狂ったようになりました。電話が使えないほど、テキストメッセージや電話が絶え間なく来ました。
基本的にツイートで解雇されたんですね。トランプ政権時代にも何回かありましたよね。
ツイートの前にテキストをくれたのは親切でした。
その後数時間は、ホテルの部屋で絶対的な混乱状態でした。何が起こったのか全く分からず、どうすべきか考えようとしていました。
午後3時頃に飛行機に乗り、まだ電話が鳴り止まない状態で帰りました。その夜のうちに何人かと直接会いました。翌朝には「AGI研究をやろう」と思い、未来について前向きな気持ちになっていました。
そして翌朝、数人の取締役と復帰について電話で話し合いました。それからさらに数日の混乱があり、最終的に解決しました。その間には多くの狂気がありました。
どのくらいの割合が、非営利の取締役会メンバーのせいだったのでしょうか?
取締役会はすべて非営利でしたから、すべて非営利の取締役会メンバーのせいです。取締役会は6人まで減っていました。そしてグレッグを取締役から外し、私を解雇しました。
非営利の経験しかない人々と、スタートアップの経験がある人々の間に文化的な衝突はありましたか? 可能であれば、その行動の背景にある動機について少し教えていただけますか?
常に文化的な衝突はありました。明らかに、それらの取締役全員が私のお気に入りの人々というわけではありませんが、AGIの重大さとAIの安全性を正しく行うことの重要性に対する彼らの真剋さには深い敬意を払っています。
彼らの意思決定や行動に強く反対しているにもかかわらず、安全で有益なAGIという共通のミッションに対する彼らの誠実さや献身を疑ったことは一度もありません。
彼らがそのプロセスで良い決定をしたとか、OpenAIが正しくバランスを取る必要があるすべてのことを知っているとは思いませんが、AGIの大きさとそれを正しく行うという意図については…
それについて質問させてください。OpenAIのミッションは明確にAGIを作ることです。これは本当に興味深いと思います。多くの人は、AGIを作ることは何か恐ろしく間違ったことの意図しない結果だと言うでしょう。彼らはその結果をとても恐れています。しかしOpenAIはそれを実際のミッションにしています。
それによって、あなたたちがしていることに対する恐れが増すのではないでしょうか? モチベーションにもなると理解していますが、それをどう調和させているのでしょうか?
多くの…まず最初の質問に答えると、それは確かに大きな恐れを生み出します。世界の多くの人々が、理解できる理由で、AGIをとても恐れています。現在のAIさえも恐れています。そしてそれがどこに向かっているのかについて、さらに恐れ、さらに興奮しています。
私たちはそれと格闘していますが、これは避けられないことだと思います。また、それは非常に有益なものになると思いますが、そこに至る道筋を合理的な方法でナビゲートする必要があります。多くのことが変わり、変化は人々にとって非常に不快なものです。正しく行わなければならない部分がたくさんあります。
別の質問をしてもいいですか? あなたは、文字通り中心の中心にある最もホットな会社を作りました。しかし、それは非常にユニークです。経済的に発行したすべての価値…この点について説明していただけますか?
ああ、株式を取っておけばよかったです。そうすればこの質問に答える必要がなかったのに。
なぜ今、大きなオプション付与をしないのですか? あなたには価値があります。5ポイントくらいあげるべきです。
当時の決定は…元々の理由は、私たちの非営利組織の構造に関することでした。取締役会の過半数が利害関係のない取締役である必要があり、私は「今は株式は必要ない」と思いました。
しかし、今このような奇妙な方法で…今あなたは会社を経営しているのに、これらの奇妙な質問が生まれます。あなたの本当の動機は何なのか、対して…
それは人々にとって非常に想像しがたいことだと気づきました。「もうお金は必要ない」と言うことが。
人々は、何か裏で別のことをしてお金を稼いでいるのではないかと考えているのだと思います。
「OpenAIで1兆ドルを稼ごうとしている」と言えば、みんなもっと簡単に理解でき、多くの陰謀論を避けられたでしょう。
これは完全に裏チャンネルです。あなたは素晴らしい交渉人です。あなたのキャリア全体を見てきましたが、本当に素晴らしいです。あなたにはたくさんのつながりがあり、資金調達が本当に上手です。素晴らしいですね。
そしてジョニー・アイブとの件もあります。Humanityに投資し、Orbを立ち上げ、半導体工場を建設するために7兆ドルを調達しようとしています。これらすべてを合わせて…ジェイはフェイクニュースが大好きですね。ここでは少し誇張していますが…
明らかに7兆ドルを調達しているわけではありません。しかし、それを脇に置いておいても、あなたはこれらすべての取引をしています。彼らはあなたを信用していません。なぜなら、あなたの動機は何なのか、あなたは裏をかいているのではないか、OpenAIの中にあるべき機会と、サムのものであるべき機会は何なのか、という疑問があるからです。
この非営利の人々のグループはあなたを信用していなかったのでしょうか?
デバイス会社や、チップ製造会社を作るとしたら、それらはサムのプロジェクトではありません。それらはOpenAIのものになり、OpenAIが株式を得ることになります。
それは一般の認識ではありませんね。
毎日これらのことについてコメントしなければならないあなたのような人々の認識ではそうかもしれません。それは公平です。私たちはまだ何も発表していません。まだ完了していないからです。
世界の大多数の人々はこのことについて考えていないと思いますが、技術コメンテーターの間では多くの陰謀論を生み出していることには同意します。
もし過去に戻れるなら、単に「株式を取らせてください」と言い、それを非常に明確にしたでしょう。そうすれば、誰もが「分かった、彼は本当にAGIを気にかけていて、これが世界で最も興味深い仕事だと思っているから」と理解するでしょう。少なくとも、みんなの理解を得られたでしょう。
チッププロジェクトとは何ですか? 7兆ドルという数字はどこから来たのですか? 全く意味が分かりません。
実際にそれがどこから来たのか分かりません。
世界にはもっと多くのAIインフラが必要だと思います。現在計画されているよりもはるかに多く、異なるコスト構造で。私たちがどのように関わるべきかは、まだ模索中です。
OpenAIを組織する好ましいモデルは何ですか? 「速く動いて物事を壊す」という高度に分散した小さなチームのモデルですか? それとも、これらのエッジケースを防ぐために計画が必要な、より組織化された取り組みですか?
エッジケースを防ぐためにより組織化する必要があるわけではありませんが、これらのシステムは非常に複雑で、賭けを集中させることが非常に重要です。
以前は、DeepMindなどがさまざまなチームで異なることを行い、賭けを分散させていました。しかしOpenAIは、基本的に会社全体を投入してGPT-4を作るために協力するというアプローチを取りました。これはAI研究所の運営方法としては想像もつかないものでしたが、少なくとも私たちにとっては機能しています。
エッジケースを防ぐためではなく、リソースを集中させ、これらの大きく複雑なことを行うために、私たちは取り組む内容について多くの調整を行っています。
サム、時間がないようですね。1時間ありがとうございました。いつでも戻ってきてください。
ありがとうございます。楽しかったです。
1年以上話し合ってきましたが、ついに実現して本当に嬉しいです。
次の大きな発表の後にまた来てください。そうすればもっと直接的に話せるでしょう。
Zoomリンクは同じですよ。毎週同じ時間、同じZoomリンクです。カレンダーに入れて、しばらくしたら戻ってきてください。
ポーカーをするのも楽しいでしょうね。もう随分やっていません。
チャマスとヘッズアップで、あなたがオールインしたときのことを覚えていますか? 私はセットを持っていましたが、ストレートとフラッシュのドローがありました。5000ドルくらいのポットだったかな。当時は小さな掛け金でしたね。チャスは黙っていられず、「コールすべきだ」「ブラフだ」とか言い出して…私はコールするかどうか考えていたんです。結局コールしましたが、あなたは本当に良いハンドを持っていました。でも私はたまたまセットを持っていたんです。トップペアトップキッカーくらいだったんじゃないですか? でも素晴らしいムーブでした。ボードがとても怖かったので。
サムはラムアンドジャムと呼べるような素晴らしいプレイスタイルを持っています。
最近18ヶ月のジェイムのプレイは全然違いますよ。今はもっと面白いです。
ボムポットをやったことありますか?
それが何かわかりません。
気に入ると思いますよ。2つのボードを使うんです。とてもクレイジーです。
また来てくださいね。大きな発表の後に。
はい、そうします。楽しみにしています。
さようなら、みなさん。
速報です。彼が言ったすべてのプロジェクトはOpenAIの一部だそうです。これは人々が知らなかったことで、多くの混乱がありました。
チャマス、サムとの1時間で一番の収穫は何でしたか?
彼らはこの分野で重要な4大企業の1つになると思います。それは明らかです。まだ不明確なのは、経済性がどこにあるかということです。
彼は控えめに、しかし重要なことを言いました。私の解釈では、基本的にこれらのモデルはだいたい同じになりますが、アプリを構築できるようにするための多くの足場がモデルの周りにあるということです。
多くの点でそれはオープンソース運動のようです。モデル自体が決してオープンソースにならなくても、インフラストラクチャに対して支払う必要があるので、あまり問題にはなりません。Amazonで動作するオープンソースソフトウェアはたくさんありますが、それでもAWSに支払いをしています。
今の正しい考え方は、モデルは基本的にすべて本当に良くなり、そして他のすべてのものに対して支払う必要があるということです。これらの他のすべてのものを構築する人が、本当に良いビジネスを構築できる立場にいるでしょう。
フリーバーグ、彼は推論について多く話していましたね。言語モデルから離れて推論に向かっているように見えました。それに気づきましたか? また、サムとの1時間で他に気づいたことはありますか?
はい、それは長い議論になりますね。言語モデルが最終的にすべての知的機能を解決できるほど一般化可能になり、AGIにつながる基盤モデルになるという話がたくさんありますが、これについては多くの異なる考え方があります。
私のもう1つの収穫は、LLMに夢中になっていますが、LLM以外にも彼や他のグループが開発している多くのものがあるということです。それらすべてに注意を払う必要があります。なぜなら、フリーバーグがあなたの質問で触れようとしたように、推論は本当にそこから来るからです。専門家の混合アプローチです。
推論するためには多次元的に考える必要があります。私たちはそうしていますよね? 今この時点で道路を渡るかどうか、あなたはこれらすのマルチ入力に基づいて推論します。脳にはその決定をするための小さなシステムがたくさんあります。それを単純な例として使えば、インテリジェントに推論できる経験を作るためにはたくさんのものが必要になります。
サックス、あなたはすぐに企業構造、取締役会の話に行きましたね。彼は多くの情報を与えてくれました。チップの話や彼が取り組んでいる他のことはすべてOpenAIの一部だということ、人々はそれに気づいていないということについて、あなたの考えは? そして、株式に関するあなたの質問について、彼の考えは?
私がその質問の主な人物だったかどうかは分かりませんが、ジェイコブ…
いや、あなたは非営利の…取締役会における非営利の世界出身の人々とスタートアップの世界出身の人々の間の文化的衝突について質問しましたよ。
明らかに何らかの文化的衝突がありましたが、それ以上のことは分かりません。彼が注目を集めた他のいくつかの分野で興味深かったのは、モバイルに大きな機会があると明確に考えているということです。単にChatGPTのアプリを電話に載せたり、Siriのようなものを電話に載せたりする以上のものです。明らかにもっと大きな何かがありますが、それが何なのかはまだ分かっていません。より多くの入力が必要になるでしょう。
デイビッド、それは素晴らしい洞察ですね。彼は「私に反論できる上級チームメンバーが欲しい。すべてのコンテキストを理解している人が」と話していました。それは非常に興味深いと思います。単なるあなたの分身や、彼が「追従者」と呼んだものではなく、エグゼクティブ機能を持つアシスタントについて考えるのは面白いですね。
それは興味深いと思います。
また、明らかに生物学や科学的発見に大きな機会があると考えています。
休憩の後、AlphaFold 3について話しましょう。ちょうど発表されたばかりです。
そして、Appleの広告についても話したいと思います。
また、人々に理解してもらいたいのは、ポッドキャストにゲストが来たとき、私たちは質問を見せたり、トランスクリプトを編集したりしません。何も制限はありません。
イーロンの訴訟について聞かなかったのはなぜかと思った人がいるかもしれませんが、彼はコメントできないでしょう。ノーコメントになるだけです。
私たちの時間は限られていて、彼に聞けたかもしれない質問はたくさんありますが、時間の無駄になるものもあります。
人々に理解してもらいたいのは、もちろん彼は訴訟についてはノーコメントするでしょうし、すでに500回以上聞かれているということです。
短い休憩を取って、戻ってきたらニュースといくつかのバンターをお届けしましょう。世界No.1ポッドキャスト、唯一のポッドキャストで、あなたのお気に入りのベスティーズと一緒に。
コメント