17,450 文字
最初から私らは、当時のAI業界では言うのがタブーやったAGIを追求すると宣言してました。それがあまりにもクレイジーで不可能に思えたからです。当時の皆さんからの批判の嵐を覚えてますわ。でも私らは突き進みたかったんです。Deep Mindなど他社に比べて資金も少なかったので、「彼らは色んなことに手を出すやろうけど、私らは一つのことに集中するしかない。そうすれば勝てる」と考えました。
今でも世界の大半の人は、一つのことに極端なまでに集中することの価値を理解できてへんのです。だからこそ私は今のスタートアップにすごく期待してるんです。世界はまだこの全てに対して驚くほど寝てるような状態なんですから。
今日は特別なゲストをお迎えしてます。サム・アルトマンさん、ありがとうございます。
ありがとうございます。これは実は何年も前に始められた「未来の作り方」シリーズの再開なんですよね。
そうですね、なんかそんな感じです。すごいことですよね。再開されて嬉しいです。
では、最新のエッセイ「知性の時代」について話しましょうか。今は過去最高のテクノロジー企業を始めるのに最適な時期なんでしょうか？
少なくとも今までで最高の時期やと思います。将来はもっと良くなるかもしれませんが。私は、大きな技術革命が起こるたびに、以前よりもできることが増えてきたと思うんです。そして企業もより素晴らしく、より大きなインパクトを持つようになってきた。だから、今までで最高の時期やと思います。
大企業は物事がゆっくりと動いていて、あまりダイナミックでない時に優位に立ちます。でも、こういったAIや、モバイル、インターネット、半導体革命、恐らく産業革命の時代みたいな時には、新興企業が優位に立つんです。そういう意味で、久しぶりのこういう時期なので、すごくワクワクしますね。
エッセイの中で、ASI（超知能）は数千日後には実現するかもしれないという、すごい発言をされてましたよね。
はい、それが私らの希望であり、予測というか…でもそれはすごい発言ですよね。
説明させていただきます。過去3年間の進歩のペースが、これから3年、6年、9年と続くような道筋が見えてきてるんです。9年というと3500日くらいですかね。この改善のペースを維持するか、あるいは加速できれば、そのシステムは多くのことができるようになると思います。
すでにA1のようなシステムでも、特定の分野での閉じた明確なタスクにおいては、純粋な認知的IQの面でかなりのことができます。A1はすごく賢いものだと思います。そして私らはまだ進歩の限界には全然達していません。
アーキテクチャの変更で多くのことが解き放たれたんですね。そして、これらのことが積み重なっていくという理解でいいんですね。予期せぬ壁にぶつかる可能性もありますし、何か見落としているかもしれません。でも私らから見ると、まだまだ積み重ねていけることがたくさんあるように思えます。
このエッセイは、私が今まで見た中で最もテクノ楽観主義的なものかもしれませんね。気候変動の解決、宇宙コロニーの建設、物理学の全ての発見、ほぼ無限の知性と豊富なエネルギーなど、楽しみにできることがたくさん挙げられてます。
そうですね、それらの全てのこと、そして恐らく私らがまだ想像もできないようなことも、そんなに遠くない将来に実現できるかもしれません。私が最も興奮するのは、今ではこういったことを半分真面目に議論できるようになったことです。
YCで私が常に大好きだったことの一つは、ちょっと非現実的なくらいのテクノ楽観主義と、「あぁ、これは解決できる」という信念を奨励することです。世界が常に「これは無理だ」「あれはできない」と言い続けている中で、PGの初期の精神である「もっと大きく考えろ」というファウンダーへの励ましは、世界でも特別なものだと思います。
豊富なエネルギーというのは、かなり大きな話題ですよね。パスAとパスBがあって、もし豊富なエネルギーを手に入れることができれば、知識労働だけでなく、実際の物理的な仕事も、ロボティクスと言語と知能を組み合わせることで解放できる可能性があります。本当の意味での豊かな時代が来るかもしれません。
そうですね、これらは私らが望む他の全てのことへの鍵となる2つの重要なインプットだと思います。もちろん他にも重要なことはたくさんありますが、本当に豊富な知性と豊富なエネルギーを手に入れることができれば、世界でできることは…より良いアイデアをより早く生み出し、それを物理的な世界で実現することができるようになります。
AIを大量に走らせるにもエネルギーが必要ですしね。これは大きな突破口になると思います。全てが同時に起こっているのが驚きなのか、それとも技術進歩の加速度的な性質の自然な結果なのかはわかりませんが、確実に生きるのにワクワクする時代ですし、スタートアップを始めるのに素晴らしい時期です。
では、この豊かな時代について考えてみましょう。ロボットが実際に製造を行い、ほぼ全ての物理的労働が物質的進歩につながるようになれば、最も裕福な人々だけでなく、全ての人々にとってのものになるかもしれません。でも、もし無限のエネルギーを解き放つことができなかったら、例えば物理法則がそれを妨げるような場合はどうなるでしょう？
太陽光発電とストレージは十分良い軌道に乗ってるので、たとえ大きな原子力の breakthrough がなくても、まぁなんとかなるでしょう。でも確実に、エネルギーのコストを下げて豊富さを上げることは、生活の質に直接的な影響を与えます。そして最終的には物理学の全ての問題を解決することになるでしょう。これを解決するのは時間の問題です。
そしていつか、私らは核融合とかじゃなくて、ダイソン球について話してることでしょう。それはすごく素晴らしいことです。今の私らにとって豊富に思えるエネルギーも、私らの曾孫にとってはまったく足りないものに感じるでしょうね。宇宙には大量の物質がありますからね。
少し話題を変えましょう。先ほどPG（ポール・グレアム）の話が出ましたが、彼は私ら全員を結びつけてYCを作った人です。彼は、あなたがYCに入った話をよく語ります。2005年の最初のYCバッチの時、あなたはスタンフォードの1年生で、彼は「次のバッチまでYCは続いてるから待った方がいい」と言ったそうです。でもあなたは「私は2年生です。絶対に参加します」と答えたと。私らのコミュニティでは、あなたは最も手強い人物として知られてますが、その性質はどこから来てるんですか？
ああ、その話は歴史から消えてくれたらいいのになぁ（笑）
でもここで永遠に記録されることになりましたね（笑）
私の記憶では、ある日インタビューの予定を変更する必要があって、PGが「来年にした方がいい」みたいなことを言ったんです。それで私は、もう少し丁寧な言い方で「私は2年生です。絶対に参加します」と言ったと思います。まぁ、こういう話は少し脚色されがちですよね。
面白いのは、これは偽りのない気持ちなんですが、私は自分のことを手強い人間だとは全く思ってないんです。実際、多くの面で全然そうじゃありません。ただ、物事が今のようである必要はないと考えて、第一原理から考えてこれは大丈夫だろうと思うことをただやってみるという傾向はありますね。
それについては常に少し変な感じがしてました。でもYCの素晴らしいところの一つ、そして今でも大切にしてることは、「自分のやりたいことをただやってみる」という変わった人たちの集まりだったということです。
正確な自己認識として共感できる部分は、驚くほど多くの場合、ただやってみたり試してみたりできるということです。そして、そういうことをもっとやるのは良いことだと思います。そして私らの両方がYCで見つけたのは、ただやってみることができると信じている人たちの集まりでした。
長い間、YCを特別にしているものは何かを考えようとしてました。最初は、「あなたにはできる、私はあなたを信じている」と言ってくれる素晴らしい人がいることだと思ってました。若いファウンダーにとって、それはとても特別で刺激的なことでした。もちろんそれは事実です。
でも、ずっと後になって理解したのは、それを同じようにしている仲間たちのグループがあることだったんです。今の若い人たちにアドバイスするとすれば、できるだけ早くそういう仲間のグループを見つけることです。それは私にとってとても重要でした。最初は「自分一人でなんとかする」と思ってましたが、刺激的な仲間たちと一緒にいることの価値は本当に大きいです。
面白いのは、私ら二人ともスタンフォードにいましたよね。私は実際に卒業しました。たぶんそうするべきじゃなかったんですが（笑）。あなたは中退という、はるかに大きなリターンを得る道を選びました。スタンフォードは、そういった特徴を持つコミュニティのはずでしたが、ファウンダーたちが集まる部屋の方が、はるかに強力だったことには本当に驚きました。
まさにそれを言おうと思ってました。スタンフォードは好きでしたよ。でも、自分をより良く、より野心的にしたいと思わせてくれる人たちに囲まれているとは感じませんでした。また、仲間たちと競争する対象が、どの投資銀行でインターンシップを得るかということだったのは恥ずかしいことですが、私もその罠に陥りました。これは仲間グループがいかに強力かを示してます。
YCの雰囲気を見た後は、学校に戻らないという決断は本当に簡単でした。
カール・ユングの素晴らしい言葉があります。「世界はあなたが誰なのかを尋ねてくる。そしてもしあなたが知らなければ、世界があなたに教えるだろう」。できるだけ早く、自分が誰になりたいのか、誰と一緒にいたいのかを意識的に考えることが大切なようですね。
これは私の学んだことの一つです。誰もピアプレッシャーから逃れることはできません。できることは、良い仲間を選ぶことだけです。
その後、Loopedを作って、Green Dotに売却して、そしてYCで一緒に働くことになりました。YCリサーチの初期について話してください。あなたがYCにもたらした素晴らしいことの一つは実験精神でした。10年前、パートナールームに戻ってきて、ヨアン・ルカンのような人たちと一緒に過ごした部屋での話をしてくれたのを覚えています。AIは誰もが口にするものでしたが、とても近いように感じられたのに…。
リサーチラボを運営することは、常に最高の引退後の仕事だと思ってました。最初はAIに特化したものではありませんでした。YCリサーチについて話し始めた時、実際には様々な取り組みに資金を提供することになりました。AIが機能して重要なものになるということが明らかだったという話をしたいところですが、私らは多くの失敗もしました。
その頃、Xerox PARKやBell Labsなどの歴史に関する本について読んでいて、シリコンバレーでは当時、良いリサーチラボが再び必要だという空気が漂ってました。それはとてもクールなことだと思いましたし、YCのやっていることと似てるなと。賢い人たちに資金を提供して、時には上手くいき、時には上手くいかない。私はそれを試してみたかったんです。
AIは確かにちょっとしたブームを迎えてました。2014年後半から2015年、2016年初めにかけて、「スーパーインテリジェンス」という本を巡る議論が起こってましたよね。Deep Mindもいくつか印象的な成果を出してましたが、少し違う方向性でした。私は昔からAIオタクだったので、何か試してみるのはすごくクールだと思いましたが、それは難しかったです。ImageNetはその時点で出てましたよね？
ええ、かなり前からありました。
そうですね、ホットドッグかどうかを判別できるようになってきてました。時々は（笑）
YCリサーチやOpenAIで、最初に関わってほしいと思った人たちをどうやって見つけたんですか？グレッグ・ブロックマンは早い段階でしたよね。
今から振り返ると、映画のモンタージュのような感じでした。AIムービーの冒頭で、人を探して車で走り回るシーンがありますよね。そして「やるぞ！」みたいな（笑）
イリヤについては、すごく賢いという話を聞いて、彼の動画を見ました。今ではALSを患ってますが、本当の天才でビジョナリーです。また、すごい存在感もありました。YouTubeで彼の動画を見て、「この人に会わないと」と思いました。メールを送りましたが返信がなかったので、彼が講演するカンファレンスに行って会いました。その後、たくさん話すようになりました。
グレッグとは、初期のStripeの頃から少し知ってました。
でもその会話はどんな感じだったんですか？「あなたのAIに関するアイデアに興味があって、ラボを始めたいんです」って感じで？
はい、振り返って見ると、うまくいったことの一つは、最初からAGIを目指すと宣言したことです。当時のAI業界ではそれは禁句で、不可能に近く、無責任なことのように思われてました。
でも、それは彼の注目を即座に集めました。そして、優秀な若い人たちの注目も集め、凡庸な古い人たちからは軽蔑を買いました。なんとなく、それは良い兆候のように感じました。すごく強力でした。
私らはまさにごった寄せ集めのような集団でした。私が一番年上で、当時30歳くらいでした。そして「何も分かってない無責任な若者たち」と言われる一方で、「いいから、やってみよう」という人たちがいました。たぶん、「私は2年生です。絶対に参加します」と言うような類いの人たちですね。
一人ずつ、また時にはグループで会って、約9ヶ月かけて少しずつですが形になっていきました。そして始まったんです。
OpenAIで最も印象に残っている思い出の一つは、イリヤがGoogleとの関係で何か理由があって、2015年12月に発表はしたものの、2016年1月まで始められなかったことです。2016年1月3日くらいの月初めに、休暇から戻ってきた人たちと、グレッグのアパートに集まりました。たぶん10人くらいでした。
スタートまでこぎつけるのは記念碑的な出来事のように感じられましたが、みんな「で、これからどうするの？」って感じでした。
それは素晴らしい瞬間でしたね。スタートアップのファウンダーが資金調達に苦労して、「やった！すごいことを成し遂げた！」と思う瞬間を思い出します。でも実際には、それはスタートの合図で、これから走り始めなければならないんです。
そう、そしてレースがどれだけ大変になるのかも全く分かってません。何をするのか理解するのにかなり時間がかかりました。でも、特にイリヤ、そして初期メンバー全員に本当に感銘を受けたのは、たくさんの紆余曲折を経てここに至るまでの道のりで、当初のアイデアの大きな絵は信じられないほど正確だったことです。
グレッグのアパートのホワイトボードかフリップチャートに書かれていたものが、他のいくつかのことを試して、上手くいったりいかなかったりしながら、最終的に今のようなシステムになりました。あそこからここまで来れたのは、振り返ってみると本当にクレイジーで、ありえないような話です。でも、私らが向かおうとしていた方向は正しかったんです。
最初からディープラーニングは視野に入ってたんですか？
ええ、それ以上に具体的でした。大規模な教師なし学習モデルを作って、強化学習を解決するということが、そのフリップチャートに書かれてました。グレッグのアパートより前の、かなり初期のオフサイトミーティングでのフリップチャートの一つには、たしかこの取り組みの3つの目標が書かれてました。教師なし学習の方法を見つけること、強化学習を解決すること、そして120人以上にはならないこと。3つ目は達成できませんでしたが（笑）、最初の2つの方向性の予測は結構良かったですね。
そうすると、2番目の大きなものはスケーリングだったんですね。スケールできるという考え自体が、当時は異端で、人々を怒らせるようなアイデアでしたよね。最初の頃、あなたたちへの批判の嵐を覚えてます。
はい、私らの核となる信念は、ディープラーニングは機能する、そしてスケールとともに改善するというものでした。当時はどちらも異端的な考えでした。スケールに応じてどれくらい予測可能に改善するのかは分かりませんでした。それは数年後に分かったことで、最初は直感でした。でも、これらのニューラルネットワークを大きくすれば改善することは、人々はすでに知っていました。
それは私らは確信してました。でも、本当の学習や推論ではない、パーラーゲームのようなものだという理由で、それは止まるはずだと誰もが言ってました。これは業界の著名なリーダーたちでさえそう言ってたんです。単に「間違ってる」というだけでなく、「間違ってるし、そう考えること自体が良くない」と。
「AIの冬を引き起こすことになる」とか言われました。でも私らは結果を見て、「これは改善し続けてる」と言い続けました。そしてスケーリングの結果が出てきて、今でも私の直感を超えるものです。ある時点で、スケーリングの損失を見て、「これを続けよう、これが私らの考える方向だ」と言わざるを得ませんでした。
また、その頃、学習には何か本当に重要な創発的な現象があるように感じ始めてました。実践的な細部を全て理解していなくても（もちろん理解してませんでしたし、今でもしてません）、何か本当に基本的なことが起きているんだと。
PGの言葉を借りれば、私らは周期表の新しい区画を発見したようなものでした。だから本当にそれを推し進めたかったんです。私らはDeep Mindなどに比べて資金も少なかったので、「彼らは色々試すだろうけど、私らは一つのことに集中しなければならない。そうすれば勝てる」と言いました。
これは完全に正しいスタートアップの教訓です。私らは何が分からないのか分からなかったけど、これ一つは機能することは分かってたので、それに集中することにしました。他の試みの中には、自分たちで考えすぎてしまったものもありました。私らは目の前のことをやって、それを押し進めることにしました。
スケールというのは、私がずっと興味を持っていたものです。スタートアップでも、ディープラーニングモデルでも、他の多くのことでも、スケールの創発的な性質は非常に過小評価されてます。スケールとともに改善していくものがあれば、私はそれをスケールアップするべきだと思います。
人々は「少ないことの方が価値がある」と考えたがりますが、実際には「多いことの方が多い」んです。私らはそれを信じ、それを推し進めようとしました。OpenAIについて、あまり理解されていないことの一つは、まだあまり知られていない頃から、私らには信じられないほど才能のある研究者チームがいたということです。世界で最も賢い人たちがいれば、何かを本当に強く推し進めることができます。
そして彼らはモチベーションが高かったですね。あなたは、世界でも数少ない、彼らがそれをできる場所の一つを作ったわけです。聞いた話では、今でも計算資源へのアクセスは大変なことですよね。業界の古参からの批判の中には、「多くのリソースを無駄にして、それがAIの冬につながる」というようなものもありましたよね。
面白いことに、人々は私らがリソースを無駄にするのか、それとも多すぎるリソースを使うことで何か道徳的に問題があることをしているのか、確信が持てないようでした。リソースは多くのことに分散させるべきで、一つのことに集中するべきではないと。
世界の大半は今でも、一つのことに極端なまでに集中することの価値を理解していません。私らは「この証拠があり、これを信じている。そして普通なら様々なことに分散させる時に、この一つのことに賭ける」と言いました。
あなたは間違いなく楽観主義者ですね。多くの成功したYCのスタートアップでも、同じようなパターンが見られます。
そうですね。世界があなたにプッシュバックを返してきて、そのプッシュバックが理解できない時は、とにかくやり続けるべきです。
スタートアップの世界から学んで感謝していることの一つは、これが何度も何度も繰り返されるのを見たことです。YC以前は、どこかに「部屋の中の大人たち」がいて、彼らが全てを把握していて、誰かが全ての答えを持っているという深い信念を持ってました。
誰かがあなたにプッシュバックを返してきたら、その人はきっと何か分かっているんだろうと。でも今では、先ほどの言葉を借りれば、「ただやってみることができる」ということを理解してます。誰も全ての答えは持っていません。「部屋の中の大人たち」が魔法のように正確に何をすべきか教えてくれることはありません。
ただ素早く試行錯誤を繰り返して、自分の道を見つけていくしかないんです。これは私の人生における大きな気づきでした。
単に高い確信を持つことと、間違っていても適応せず、真実を追求しようとしないことには違いがあります。後者では本当に効果的ではありません。私らが試みたのは、ただ結果が私らに教えてくれることを信じ、目の前のことに取り組むことでした。
私らは多くのことで高い確信を持っていて間違っていましたが、間違いに気づいた時には完全に受け入れようとしました。データが出るまでは確信を持つのは素晴らしいことですが、データが出た後も確信を持ち続ける人が多くいます。
それは反復的なプロセスで、単に「彼らが間違っていて私が正しい」というだけではありません。自分の仕事を示さなければなりません。でもデータなしで活動しなければならない長い期間があり、その時は単に確信に基づいて進むしかありません。
そこには集中という側面もあるようですね。選択をしなければならず、その選択は無限にあるわけではありません。優先順位付け自体が、成功の可能性を高めるための作業だったということですね。
今から「私らは正確に何が起こるか分かっていて、最初から言語モデルのアイデアがあって、まっすぐにここに来た」なんて言えたらいいのですが、もちろんOpenAIの物語はそうではありません。科学的な理解を深めるのに役立つことをたくさんしましたが、それは最短の道ではありませんでした。
今分かっていることを当時から知っていれば、この全てを信じられないほど速く達成できていたでしょう。でもそういうものじゃないんです。全ての推測で正しくなることはできません。私らは技術の方向性だけでなく、どんな会社になるのか、どんな構造を持つのか、AGIがどのように進むのかなど、多くの仮定を持ってスタートしました。
そして私らは何度も何度も打ちのめされ、大きく間違えました。私らの強みの一つは、顔面にパンチを食らっても立ち上がって続けられることです。これは科学的な賭けについても、世界がどのように機能するのか、製品の形がどうなるのかについての他のことでも同じでした。
私は少なくとも、言語モデルが重要になるとは全く分かっていませんでした。もしかしたらアレック・ラドフォードは分かっていたかもしれません。私らはロボットやエージェント、PLビデオゲームなど他のことに取り組んでいました。数年後にGPT-3が登場するまで、それは明らかではありませんでした。
GPT-1の前でさえ、肯定的あるいは否定的な感情についての重要な洞察があったようですね。
ああ、その論文は「教師なし感情」についてのものでしたね。ちなみに、アレックが一人でやったんです。アレックは本当に信じられないほど特別な人間です。
彼は素晴らしい研究をして、Amazonのレビューを生成する際に、一つのニューロンが肯定的か否定的な感情を切り替えていることに気づきました。他の研究者なら、もっと大げさに宣伝したり大きな話題にしたかもしれません。でもアレックだったので、人々がそれがどれほど大きな発見かを完全に理解するのに時間がかかりました。
その後彼はGPT-1を作り、誰か他の人がそれをスケールアップしてGPT-2にしました。これは、感情に応じて切り替わるニューロンがあるという洞察から始まったんです。当時、教師なし学習は本当にうまく機能していませんでした。
Case Textのジェイク・ヘラー（YCの卒業生ですね）が、GPT-3.5と4の両方にアクセスして、4の方が大きな革新だと述べていたのは興味深いです。3.5は法的な場面で使うには幻覚（誤った出力）が多すぎましたが、4では、プロンプトを十分に小さく分割してワークフローに組み込めば、望む通りの動作をさせることができました。彼は大規模なテストケースを作り、その会社を6億5000万ドルで売却しましたね。GPT-4を大規模に商業化した最初の例の一つだと思います。
はい、彼との会話を覚えています。GPT-4については、「本当に素晴らしいものを手に入れた」と感じた数少ない瞬間の一つでした。
最初にGPT-3をファウンダーたちに売ろうとした時、彼らは「クールだし、すごいデモだけど、コピーライティング以外には大きなビジネスは作れない」と言ってました。でも3.5が登場すると、特にYCのスタートアップは興味深いことを始めました。もう私らが上り坂を押し進める必要はなくなりました。人々は実際に私らが売るものを欲しがるようになったんです。
そして4については、アクセスを提供した直後から「GPUをどれだけ使えるの？」という段階にすぐに到達しました。本当に良いものを手に入れたと感じました。
ユーザーの反応から、モデルがリリースされた時点で、これは本当に良いものだと分かったんですね。
私らも本当に感動しました。様々なテストを行い、素晴らしい結果が出て、以前にはできなかったことができるようになりました。みんなでサンプルを試してみた時も「わぁ、これができるようになった」と。韻を踏んだり、少し面白いジョークを言ったり、これやあれやができるようになって、本当に素晴らしく感じました。
でも、本当にヒット商品を手に入れたかどうかは、顧客の手に渡すまでは分かりません。自分の仕事に対して感動しすぎてしまうものですから。私らは全員興奮していて「これは本当に良い」と思ってましたが、本当のテストは…。
本当のテストはユーザーですよね。
そう。だからそれまではある種の不安があります。
少し話題を変えましょう。世界最高のAIラボの一つを作る前に、19歳でYCに「Looped」という会社で参加しましたよね。基本的に友達の位置情報を探すようなもので、Appleが15年後くらいに作ることになるものでした。早すぎましたね。
そうですね（笑）
その特定のアイデアに惹かれた理由は何だったんですか？
携帯電話に興味があって、モバイルフォンを使って何かをしたかったんです。これはiPhoneの3、4年前で、ポケットにコンピュータを持ち歩くことが何か大きなことになるのは明らかでした。
今では信じがたいですが、当時の電話は本当に電話機能だけだったんですよね。実際の電話として。
ええ、私は今でも実際の電話としてはなるべく使わないようにしてます（笑）
最初にインターネットができる電話を手に入れた時のことを覚えてます。ひどいテキストベースのブラウザで、本当に遅かったです。メールをチェックするのも本当に苦労しました。でも高校の頃にそういう電話を手に入れて、テキストと通話だけだった以前のものと比べて、すぐにハマりました。
その時点で「これは電話じゃない、持ち運べるコンピュータだ」と思いました。ダイヤルパッドは歴史的な偶然で残ってるだけで、これはすごいことになると。
今では何十億人もの人々が、コンピュータを持っていません。私らが育った時は、これが（机の上のMac LC2を指して）コンピュータでした。このブラックミラーのような小さなものを持ち歩くなんて、当時は考えられませんでした。本当に長い道のりでしたね。
そうすると、当時から技術とこれから来るものについて考えていたんですね。
ええ、本当のテクノオタクでした。今でもそうです。金曜の夜はそんなことを考えて過ごしてました。
難しかった部分の一つは、App StoreもiPhoneもまだなかったことです。あなたはそのローンチの大きな部分を担当したんですよね？
小さな部分ですが、はい。素晴らしい経験でした。プラットフォームの変化がどのようなものか、初期がどれだけ混沌としているか、そして小さなことでもその方向性を形作れることを理解できました。その時は他の誰かがプラットフォームの変化を作り出すのを見ている側でしたが、それを経験できたことは非常に価値がありました。物事がどのように変化し、どのように適応していくのかを見ることができました。
その会社を売却した経験はどうでしたか？おそらく初めて人を管理したり、エンタープライズセールスをしたりと、最初の経験から得られた教訓がたくさんあったと思います。
明らかに成功した会社ではありませんでした。だから非常に苦しい経験でしたが、経験と学びの速度は信じられないほどでした。PGが言った、あるいは誰かの言葉を引用した「20代は常に見習い期間だが、何の見習いなのかは分からない。そして後で本当の仕事をする」という言葉が常に心に残ってます。
本当にたくさんのことを学び、とても感謝しています。難しい経験でしたし、プロダクトマーケットフィットも見つけられませんでした。また、勢いをつけて抜け出す方法も見つけられませんでした。それは常に難しいことです。スタートアップほど、一般的な学びの速度が高いものは他にないと思います。その意味では素晴らしかったです。
19歳、20歳で、他のプラットフォームの変化、つまりスマートフォンとモバイルへの変化の波に乗ろうとして、何年も後に…まあ、私らも歳を取りますよね（笑）。でも実際に起きていることは、次の大きなプラットフォームの変化を生み出していることです。
18歳、20歳の人たちが、学位は取れるけど、波に乗り遅れるかもしれないと考えています。素晴らしいことは全て今起きているんですから。
億万長者になっている素晴らしい会社のファウンダーたちと話しても、多くの人は今起きていることにあまり気づいていないようですね。それは驚くべきことです。
そう、だからこそ私は今、スタートアップにとてもワクワクしています。世界はまだこの全てに驚くほど気づいていないんです。そしてYCのファウンダーたちは「いや、私はこの素晴らしいことを、とても速くやるんだ」と言っています。
Facebookがモバイルをほとんど見逃しそうになったことを思い出します。彼らはウェブソフトウェアを作るのが得意で、本当に上手かったんです。でも結局、InstagramやSnapchatを買収しなければならなかった…WhatsAppもそうですね。
プラットフォームの変化は常に、事前の知識を持たない若い人たちによって作られるのは面白いですね。
そうですね、素晴らしいことです。
もう一つ興味深い側面があります。あなたやイーロン、ベゾスなど、多くの人たちがファウンダーとしての旅を、LoopedやZip2のような、本当にピュアなソフトウェアから始めて、後になってレベルアップしていきます。今の時点で、もし人々が「最も crazy な hard tech に取り組みたい」と考えているなら、どんな道をお勧めしますか？できる限りそれに向かって突き進むべきでしょうか？それとも、まず資金の問題を解決して、次のことに自分のお金を深く投資できるようにすることに価値がありますか？
とても興味深い質問ですね。確かに、最初にOpenAIの初期の小切手を書けたのは役に立ちました。最初の段階で他の誰かにそれをやってもらうのは難しかったと思います。その後イーロンがもっと大規模にやってくれて、本当に感謝しています。その後も他の人たちがやってくれました。
他にも投資して本当に支援できて嬉しかったものがありますが、他の人たちにやってもらうのは難しかったと思います。だから確かにそれは素晴らしいことです。
また、先ほど話したように、非常に価値のある教訓も学びましたが、Loopedに取り組んでいた時間は、もっと良い言い方があれば良いんですが、時間を無駄にしていたような気もします。
後悔はしていません。人生の織物の一部であり、たくさんのことを学び、その他色々なことがありました。でも、19歳のスタンフォードにいた自分に、タイムカプセルで今から何を伝えたいかと聞かれたら…。
難しいですね。なぜなら、AIは常に私が最もやりたかったことでした。AIを学ぶために大学に行きましたが、当時AIラボにいた時に言われた一つのことは「ニューラルネットワークには絶対に取り組むな。私らは昔試したけど、機能しなかった」ということでした。
Loopedよりも、もっと良いものに取り組めたと思います。正確に何かは分かりませんが。まあ、全て上手くいったので大丈夫です。
他の人々の人生を改善するためにより多くの技術を作る、という長い歴史についてよく考えます。このコンピュータを作った人たちのことを考えます。私は彼らを知りません。多くの人はもう引退しているでしょう。でも彼らには本当に感謝しています。
技術の限界に挑戦して、このものを作るために一生懸命働いた人たちがいます。8歳の誕生日にこのコンピュータのコピーをもらって、私の人生は完全に変わりました。他の多くの人の人生も同様です。彼らは一生懸命働いて、私からの感謝の言葉を直接聞くことはありませんが、深く感謝しています。
進歩という長い道のりに、私らのレンガを一つ加えられることは本当に素晴らしいことです。
OpenAIにとって素晴らしい年でしたね。ドラマもありましたが。
ええ、それは得意ですから（笑）
昨年秋の出来事から何を学び、何人かの退職についてはどう感じていますか？チームは進化しますが、あなた自身はどうですか？
疲れてますが、元気です。私らは普通10年かかるような中規模から大規模のテック企業のアークを、2年で駆け抜けたような感じです。GPT-3は2年も経っていないんです。そこには多くの痛みを伴うものがあります。
規模が大きくなるにつれて、どの企業でもある程度の割合で経営陣は変わっていきます。0から1のフェーズが得意な人が、必ずしも1から10や10から100のフェーズが得意とは限りません。
また、私らは何になるのかも少し変わってきました。途中で多くの間違いもしましたし、いくつかのことは本当に上手くいきました。それには多くの変化が伴います。会社の目標、つまり新興AGIあるいはどう考えるにせよ、各段階で最善の決断を続けることです。
でも、それは多くの変化につながります。今後はもっと落ち着いた期間に向かっていけばいいと思いますが、将来また物事が非常にダイナミックになる時期が来ることは確実です。
では、今のOpenAIはどのように機能しているんですか？今プッシュしている品質とペースは、以前の確立されたソフトウェアプレイヤーと比べても、世界クラスを超えているように思えます。
これまでで初めて、本当に何をすべきか分かっているように感じています。ここからAGIを構築するまでには、まだ膨大な作業が必要で、いくつかの既知の未知はありますが、基本的に何をすべきか分かっています。それは非常に興奮することです。
製品側でもまだ理解すべきことはありますが、大まかに何を目指し、何を最適化すべきか分かっています。それは本当にワクワクする時期です。そのような明確さがある時、かなり速く進むことができます。
これら少数のことをやり、それらを本当に上手くやろうとする意志があれば、研究の道筋も、インフラの道筋も、製品の道筋もかなり明確になってきています。そこに向かって組織を整えることができます。
長い間、私らは本当の研究ラボでした。それが分かっていても、確信を持って行動するのは難しいものです。他にもたくさんの良いことをやりたくなりますから。でも、全員を同じ方向に向かって整列させることができる程度が、どれだけ速く進めるかの重要な決定要因になります。
つい最近、レベル1からレベル2に移行したようですね。それは本当に強力でした。そして、つい先日YCで01のハッカソンを開催しました。
あれは本当に楽しかったですね。
面白いことに、優勝者の一人（確か3位）は、Camperというキャドカムのスタートアップでした。最近、1、2年前にYCを卒業したんですが、ハッカソン中に、飛ばないものから文字通り競争力のある揚力を持つものまで、エアフォイルを反復的に改善するものを作りました。
それはレベル4、つまりイノベーターステージのように聞こえます。
面白いことを言いましたね。私はしばらくの間、レベル2からレベル3への移行は速く起こるだろうが、レベル3からレベル4への移行は何か中規模かそれ以上の新しいアイデアが必要で、はるかに難しいだろうと人々に言っていました。でもそのデモと他のいくつかのものを見て、現在のモデルを本当に創造的な方法で使うだけで、大きなイノベーションが得られることが分かりました。
そうですね。面白いのは、基本的にCamperがすでにCAD CAMの基礎となるソフトウェアを構築していて、言語が大規模言語モデルへのインターフェースとなり、それがソフトウェアを使用できる…ツールの使用ですね。そしてそれをコード生成のアイデアと組み合わせると、かなり恐ろしいクレイジーなアイデアになります。
大規模言語モデルがコードを書けるだけでなく、自分自身のためのツールを作り、それらのツールを01のチェーン・オブ・ソートのように組み合わせることができるんです。
人々が認識している以上に、物事は速く進むと思います。
正直に言って、生きていて本当にワクワクする時代ですよね。先ほど「物理学の全てを発見する」という話がありました。私は物理学者になりたかったのですが、良い物理学者になれるほど賢くなかった。他の方法で貢献しなければなりませんでした。
でも今、誰か他の人がこのような技術を使って全ての物理学を解決しようとしているという事実に、本当にワクワクしています。レベル4になって欲しいですね。
その人のために本当に嬉しいです。
レベル3、4、5について簡単に話しましょうか？
はい。AGIという言葉が悪い意味で色々な意味を持つようになり、人々は様々なことを意味するようになっていました。そこで私らは、物事の順序について最善の推測を示そうとしました。
レベル1はこれらのチャットボットです。レベル2は今年初めにO1のリリースで達成したと思われる、これらの推論者です。レベル3はエージェントで、より長期的なタスクを実行する能力、おそらく環境との複数の対話、必要な時に人々に助けを求める、一緒に働くなど、そういったことができます。
私が思うに、人々が予想するよりも早くそこに到達するでしょう。レベル4はイノベーター、つまり科学者のようなもので、長期間にわたって十分に理解されていない現象を探求し、ただ理解する能力です。
そしてレベル5は、少し曖昧ですが、それを会社全体や組織全体のレベルで行うことです。それはかなり強力なものになるでしょう。
フラクタルのように感じますね。レベル2に到達するために必要なことは、レベル5と同じような響きがあります。複数のエージェントが自己修正し、協力する…それは組織のようですね。ただし、非常にミクロなレベルで。
有名な話題ですが、あなたもジェイクも言及していましたが、年間数十億ドルを稼ぐ会社が、100人以下、おそらく50人、20人、あるいは1人の従業員しかいないということはあり得ると思いますか？
そういう方向に向かっているように思えます。それが何を意味するのか分かりませんが、スタートアップのファウンダーにとって素晴らしい時期であることは確かです。
そう、それは起こっているように感じます。一人のプラス1万個のGPUはかなり強力ですからね。
これを見ている人たちへのアドバイスは何ですか？スタートアップを始めようとしている人、あるいは始めたばかりの人に。
このテクノロジーのトレンドに賭けてください。私らは飽和点に近づいていません。モデルはとても速く、とてつもなく良くなっていきます。この技術を使ってスタートアップのファウンダーとしてできることと、使わずにできることとの違いは、信じられないほど大きいです。
大企業は四半期ごとの計画サイクルで、Googleは10年計画サイクルで…今どうやってるのか分かりませんが。スピードと集中と確信を持って、技術の進歩の速さに対応できる能力が、スタートアップの最大の強みです。特に今がそうです。
だから私は間違いなくAIで何かを作るでしょう。そして新しいものを見て、四半期計画サイクルに入れるのではなく、その日のうちに何かを作る能力を活かすでしょう。
もう一つ言えることは、新しい技術プラットフォームがある時、「AIで何かをやっているから、ビジネスの法則は私には適用されない。この魔法の技術があるから、収益性や競争優位性、より良い製品を作る必要はない。AIを使っていて、あなたは使っていないから、それだけで十分だ」と言うのは簡単です。
でも、それは明らかに真実ではありません。新しい技術を他の誰よりも早く採用することで、短期的な爆発的成長を得ることはできます。それに騙されないように気をつけ、まだ価値のあるものを作る必要があることを覚えておくのは良いことだと思います。
今は誰でも信じられないようなデモを作ることができます。でもビジネスを作ること、それが本当の課題です。
ルールはまだ適用されます。これまでよりも速く、より良くできますが、まだビジネスを構築する必要があります。
2025年について、何にワクワクしていますか？これから何が来るのでしょうか？
AGIですね。それにワクワクしています。
何にワクワクしているか…ああ、子供ができるんですね。おめでとうございます。
ありがとうございます。それは人生で最もワクワクすることかもしれません。
完全に人生を変えますよ。本当に待ちきれません。
では、私らの子供たちのため、そして本当に世界全体のために、より良い世界を作ることに乾杯しましょう。
楽しかったです。時間を取っていただきありがとうございます。
ありがとうございました。
コメント