世界で最も優秀なAI企業になるための要素をすべて持っているように見えるGoogleが、なぜそうならないのでしょうか。2016年のOpenAIは、あなたが入社した1999年のGoogleに匹敵すると思いますか。AGIに確実に到達すると信じていますか。AIの長期的な軌道はどのようなものでしょうか。これは私たちが今まで発明した中で最も強力な技術であり、その力がどこに向かうのかが問題です。自由とオープンソースを支持する人々の連合体全体を構築する必要があると思います。ただ単にFacebookが私たちを救ってくれると賭けるのではなく。
ようこそ、Light Coneの新しいエピソードへ。私はゲイリーです。こちらはジェレッド・ハーゲとダイアナです。私たちはY Combinatorのパートナーで、何千億ドル規模の企業に投資してきました。今日は特別なゲストとして、YCの創業者ではない最初の外部パートナーの一人であるポール・ブックハイトをお迎えしています。彼はGmailを作り、「邪悪になるな」というフレーズを生み出しました。ポール、今日は参加してくれてありがとうございます。
ありがとう、ゲイリー。
では、何から始めましょうか。
そうですね、人々があまり気付いていないことの一つは、あなたが長い間AIについて考えてきたこと、そしてGoogle自体が一種のAI企業だったということです。それについてもう少し詳しく教えていただけますか。GoogleにおけるAIの内部的な見方はどのようなものでしたか。
はい、GoogleはAI企業になることを常に目指していたと思います。最初からそうでした。ラリーとサーゲイは、非常に大規模な計算クラスターを構築し、収集したすべてのデータに対して多くの機械学習を行うことを目指していました。実際、Googleのミッションステートメントはかなり明確です。Googleのミッションは、世界中のトレーニングデータを収集し、巨大なAIスーパーコンピューターに供給することです。彼らはそれをやや間接的に表現しています。「世界中の情報を収集し、普遍的に有用でアクセス可能にする」というような表現ですが、実際にはそれは巨大なAIスーパーコンピューターに供給することを意味しています。
Googleの起源も、ページランクに関する彼らの博士論文に基づいています。これは今日、多くの機械学習クラスでAIの基本的な歴史的アルゴリズムの一つとして教えられています。
はい、十分なデータがあれば、それが物事をインテリジェントにする道筋であるという理解が非常に早い段階からありました。小さなアルゴリズムを永遠に繰り返すのではなく。
ポール、あなたはいつGoogleに入社したのですか。入社した当時のGoogleについて少し話してもらえますか。
はい、1999年6月でした。つまり、25年以上前ですね。当時はパロアルトのユニバーシティ・アベニューにある非常に小さなスタートアップで、Tシャツショップの上にありました。そこは電気のような雰囲気で、本当にクールでした。約1週間後、私はもっと株式を得ようとしましたが、受け入れる前に交渉しなければならないことがわかりました。でも、そこには非現実的な感覚がありました。私は仕事に行くのがとてもワクワクしていました。なぜなら、私たちは大きなことをしていたからです。
Googleの初期メンバーとして、このAIがどのように展開されると考えていましたか。Googleの将来のAIはどのようなものになると想像していましたか。
それは実際に話題になったことはありませんでした。AIは明らかに長い間人々が考えてきたことですが、私は最初のニューラルネットを1995年頃に作りました。コードを掘り起こしてみると、それは古典的な3層ニューラルネットで、典型的な数字分類のようなものでした。
正確には数字分類ではありませんでしたが、フィグレットと呼ばれるASCII文字のようなものがあり、基本的にそれらに対してOCRを行いました。しかし、重みは100程度でした。今日のモデルの何兆もの重みと比べると非常に小さなものでした。
ニューラルネットの歴史は少し奇妙です。最初にパーセプトロンという単一のニューロンが発明されたとき、短期間非常に注目されましたが、ある研究者がパーセプトロンがXORを計算できないことを示すと、しばらく死んでしまいました。その後、誰かが複数のニューロンを使うというアイデアを思いつくまで。そして、それはまた長い間死んでいました。
私の認識では、2010年代初頭にディープラーニングが人気になったときに本当に活気づきました。そのときに、内部的にYCでの議論で、AIが無期限の未来から、より確定的な未来に移行したと感じ始めました。それがOpenAIの創設にもつながりました。
AIの力とその影響、特にAGIについて、そして社会への影響についての会話はありましたか。それともまだ遠い未来のことだと感じていましたか。
はい、当時はまだ遠い未来のことだと思っていました。それは非常にSF的なものでした。私たちはより近い将来、検索をどのように改善するかということに取り組んでいました。しかし、検索はある程度AIの問題です。ユーザーが何を探しているのかを理解する必要があります。Google検索を実際に見てみると、かなり驚くべきことがたくさん起こっています。
実際、私たちが追加した最初の魔法のような機能の一つは、「もしかして」という、スペル修正機能でした。それは実際には私のスペルが下手だったことから生まれました。私の脳は恣意的なパターンが好きではありません。学校にいたとき、数学は予測可能だったので簡単でしたが、スペリングは常に苦労しました。
Googleに入社したとき、最初に追加した機能の一つがスペル修正機能でした。クエリログを見ていると、私だけでなく、クエリの3分の1ほどがスペルミスをしていることがわかったからです。それは最も簡単な品質向上でした。
待ってください。あなたがGoogleの元のスペル修正機能を作ったのですか。
はい、最初の「もしかして」機能を作りました。ただし、既存のスペル修正ライブラリを基に構築しました。しかし、それは本当に愚かな修正をしていました。例えば、「TurboTax」と入力すると、「turbot axe」（ターボットは魚の一種）に修正しようとしました。そこで、基本的な統計的フィルタリングを行い、「これは馬鹿げた修正だから表示しない」というようにしました。結果をただフィルタリングしていただけです。
その後、より良いスペル修正機能を作ろうと取り組んでいました。私たちはウェブのコピーと何十億もの検索クエリを持っていたので、そこには多くの情報がありました。より良いものを作ろうとしていました。それを面接の質問として使っていました。エンジニアを面接するとき、「スペル修正機能をどのように構築しますか」と尋ねていました。エンジニアの80%は全く見当がつかず、残りの20%はまあまあの答えをしました。
しかし、本当に良い答えをした人が一人いました。彼は私がすでに達していたレベルよりも先を行っていたので、彼を雇わなければならないと思いました。彼の最初のプロジェクトは、2000年の終わり頃、12月末頃に始まりました。私は彼に私のすべてのコードを渡し、クラスターでプロジェクトを実行する方法を示しました。
その後、クリスマスで2週間ほど休暇を取りました。戻ってくると、彼は今日私たちが知っている「もしかして」機能を発明していました。彼はそれをGoogleでの最初の2週間ですべて行いました。それは信じられないほどのものでした。私の苗字のスペルを修正することができました。誰も固有名詞などを修正するスペル修正機能を作ったことがありませんでした。
その人はノーム・シャジアで、後にAIを発明した人物です。彼は「Attention Is All You Need」論文の主要な著者の一人で、その後Character AIを立ち上げました。
私はそれらのつながりを全く結びつけていませんでした。しかし、2000年に元のGoogleのスペル修正機能が立ち上がったとき、それは大きな出来事でした。なぜなら、それは一般の人々に広く使用された最初のAIの一例だったからです。以前のスペル修正機能はすべて、単に辞書の単語リストと編集距離に基づいた非常に単純なものでした。固有名詞を扱うことができず、多くの愚かな提案をしていました。Googleのものは実際のデータで訓練された最初のものでした。
そうです。実際、Googleのスペル修正機能には辞書がありません。ウェブとクエリログを見て、最も可能性の高い修正を予測するだけです。
Googleは長い間AIに取り組んできました。データ、コンピューティング、人材など、世界で最も優秀なAI企業になるためのすべての要素を持っているように見えます。なぜそうならないのでしょうか。どこかで行き詰まったように見えますが、どう思いますか。
はい、正確にはわかりません。皆さんに明確にしておきたいのですが、私はGoogleで働いていません。2006年に退社しました。しかし、部外者としての私の認識では、その多くはアルファベットへの移行の時期、特に創業者たちが会社を実際に運営しなくなった頃、特に彼らが去った後に起こったと思います。
検索の独占を保護し維持することがより重要になったと思います。その観点から考えると、彼らには金鉱があります。検索は非常に価値があります。AIは本質的に破壊的な技術です。人々に正しい答えを与えれば、広告でいっぱいのページをクリックする必要がなくなるかもしれません。
これは当然、1998年の最初のGoogle論文でも指摘されていました。検索会社には、収益性と正しい答えを与えることの間に固有の緊張関係があります。結果を悪くすれば人々がより多くの広告をクリックするという誘惑が常にあるからです。
AIにはそれを破壊する可能性がありますが、それ以上に規制当局を怒らせる可能性があると思います。Googleのビジネスの多くは規制当局との対応です。AIを出せば、必ず攻撃的なことを言うでしょう。彼らはそれを恐れていたのだと思います。
内部的にも、チャットボットのバージョンを開発していたときに制限がありました。ノームが構築したもので、内部告発者が意識があると主張したものです。Lambdaと呼ばれていたと思います。実際には元々別の名前がありましたが、名前を変更せざるを得ませんでした。元の名前は人間的なものだったからです。Lambda.
会社内部でさえ、発表できるものに制限がありました。Dalleのようなものをイメージジェンと呼んでいましたが、人間の形を作ることが禁止されていました。内部の研究者でさえ、人間の画像を生成することができませんでした。彼らは非常にリスク回避的だったと思います。それが答えです。
サーゲイやラリーがまだ責任者で前進を押し進めていたら、どう違っていたと思いますか。彼らはリスク回避を覆すことができますよね。しかし、そのレベルの信頼性を持つ人が必要です。本当に会社を賭けるか、これをやるぞと言って、多くの問題を引き起こすことになるでしょう。
しかし、私は、もしGoogleが最高の状態であれば、うまくいかなかったと思います。彼らがAIを立ち上げた唯一の理由は、OpenAIがChatGPTを発表し、突然それが必要になったからです。それも彼らを助けました。OpenAIが多くの弾丸を浴びたからです。クレイジーで攻撃的なことを言うなどのその時点で、Googleはより無難なバージョンを出すことができました。白人の存在を禁止するなどです。
OpenAIはYCから派生したものですよね。当初はYC Researchでしたよね。2010年代初頭に戻ると、私たちはこの技術の進歩を追跡していました。ディープラーニングが本当に印象的なことをし始めたのはその頃でした。ビデオゲームをプレイして勝つなど、AIが本物だと言えるようになりました。
何十年もの間、AIはSFのようなものでした。シンボリックAIはゴミのようなものだったと言えるでしょう。ようやくAIが本当に印象的なことをし始めたのです。
そのため、私たちのレーダーに引っかかっていました。サムは多くの人々と話をしていると思います。イーロンがAIが私たちを殺すと警鐘を鳴らし、規制を提案していた会合の一つに参加していたと思います。
私たちはこのような議論をしていました。サムは「AI規制を推進すべきだと思いますか」と尋ねていました。私の意見では、それは事態を悪化させるだけだと思います。私たちの選出された代表者が非常に賢明で先見の明があるとは思えないからです。
私の主張は、実際にAIを構築することが良いということでした。そうすれば、私たちがその方向性に影響を与えることができます。しかし、AIはまだ収益化のタイムフレームがわからない研究プロジェクトでした。莫大な資本が必要でした。研究者の給料は非常に高かったからです。
これは2015年頃の話ですね。GoogleがDeepMindを買収した後でもありますよね。
はい、DeepMindの後でした。それがこの問題をより複雑にしました。おそらくそれらの会話では、このAIがGoogleに閉じ込められることを望まないという欲求があったのでしょう。
そうです。基本的にこれがすべてGoogleの中に閉じ込められて開発されることへの恐れがありました。そこで、これを世界に、そして私たちのスタートアップのエコシステムにより開かれたものにしたいという考えがありました。
YC Researchというコンセプトがあり、これに資金を提供する方法を見つけ、そしてうまくいけば私たちのスタートアップがそれから恩恵を受け、その上に構築できるようにするという考えでした。実際にそうなっています。現在、私たちのスタートアップの半分がその上に構築しています。
現在のオープンソースモデルについてどう思いますか。
私は完全に賛成です。AIの長期的な軌道について考えるとき、これは私たちが今まで発明した中で最も強力な技術です。そこで問題になるのは、その力がどこに向かうかということです。
本質的に2つの方向があると思います。一つは中央集権化で、すべての力が政府や少数の大手テクノロジー企業などに集中する方向です。私の考えでは、それは人類にとって破滅的です。個人の権限と力を最小限にしてしまうからです。
もう一つの方向は自由です。可能な限りこの力と能力を個々人に与え、自分自身の最高のバージョンになれるようにすることです。例えば、みんなが200のIQを持っていたらどうなるかを考えてみてください。すべての力を一箇所に集中させるのではなく。
オープンソースは非常に重要です。なぜなら、それは一種のリトマス試験紙だからです。真の自由、言論の自由、憲法修正第1条のようなものです。もしそれがなければ、あなたのモデルがすべて何らかのロックダウンシステムの下に閉じ込められ、何が言えるか、どのような考えが受け入れられるかについて多くのルールがあれば、私たちはすべての自由を失ってしまいます。言論の自由は、伝達しようとする考えを構成する思考の自由さえなければ意味がありません。
OpenAIの歴史に戻ると、OpenAIが始まった本当の物語は、実際によく知られていません。多くの企業と同様に、創業の物語は何度も語られるうちに、公の消費のために浄化されていきます。しかし、あなたは最前線にいました。実際、OpenAIを本質的に構築した初期の研究者の多くをインタビューしましたよね。本当の創業の物語を教えてもらえますか。
確かに、多くとは言えません。イリヤをインタビューしました。
これらの議論に遡ります。AIを違法化しようとするのではなく、実際にそれを構築すべきだという考えです。可能な限り公共の利益のために。サムは信じられないほどの組織者です。これほど多くの異なる利益と多くの異なる人々を一つにまとめることができる人に会ったことがありません。
彼はイーロンや他の多くの人々から本質的に寄付を集めることができました。PGとジェシカも元のOpenAIの非営利団体に貢献したことを知っています。YCの価値も投入したと思います。
それが根源で、そこから彼は元のチームを募集しました。グレッグとイリヤ、そして基本的に全体を立ち上げました。彼はまだYCを運営していました。当初はYC Researchというサブサイダリーでしたよね。
はい、元々のコンセプトは、YC Researchと呼んでいたものの一部になるはずでした。そして、イーロンがより関与するようになると、それは独自のOpenAIになり、イーロンがより前面に出るようになりました。YCのルーツについては誰も本当に知りませんでした。
実際、彼らの最近の訴訟の一部として公開されたメールを見ると、イーロンが「YCの部分を取り除け」と言っているものがあります。
なぜOpenAIがうまくいったと思いますか。2000年代初頭にGoogleを見て、いつかAGIを発明する企業だと思っていました。しかし、実際の展開は私が予測していた方法とは異なりました。
繰り返しますが、OpenAIのアイデアは、研究者たちへのピッチの一部でした。「ここに来れば、あなたの成果は閉じ込められずに世界に出ていきます」というものです。研究者たちはそれに動機づけられ、Googleの中に閉じ込められるのではなく、何かを作るというミッションに動機づけられました。
それが多くの才能を引き付けたと思います。スタートアップと同じです。大企業の中にいて、Googleの研究者たちは人間の形を生成するイメージジェンのバージョンさえ作れなかったのです。内部的にそれほど制限されていたのです。
もし、シップすることが好きで、速く動くことが好きな人なら、OpenAIはAIのスタートアップバージョンでした。しかし、もしGoogleが最高の状態であれば、うまくいかなかったでしょう。スタートアップがうまくいくのは、多くの場合、遅い会社、つまり内部的に間違ったインセンティブを持つ大企業と競争しているからです。
2016年のOpenAIは、あなたが入社した1999年のGoogleに匹敵すると思いますか。
実際には、もっとクレイジーな長距離射撃だったと言えるでしょう。本当にゼロ%の成功確率に見えました。訴訟の一部として公開されたこれらのメールを見ると、イーロンからの「君たちには0%の成功確率がある」というものがあります。そして、それは本当にそのように見えました。
長い間、本当に成功していませんでした。まだビデオゲームなどをやっていました。実際にLLMが大きな違いを生み出したのです。GPT-2について、サムが本当に興奮して私に見せたいと言っていたのを覚えています。次の単語を予測するというものでした。
次の単語の予測は、一見単純に見えるものですが、今でも人々が「本当にインテリジェントではない、ただ次の単語を予測しているだけだ」と言って dismissing しているのを聞きます。しかし、次の単語を予測してみてください。そんなに簡単ではありません。
実際、考えてみると、次の単語を予測できれば、任意の単語を予測できます。それがプロンプトです。予測したいものを言えば、それがプロンプトで、次の単語が予測です。
次の単語の予測を行い、現在のように機能するためには、必然的に現実のモデル、または現実の認識のモデルを構築する必要があります。この場合、テキストだけを与えられて育つという奇妙な制限がありますが。
コントロールと自由の問題について、オープンソースが自由を与えてくれると賭けています。ザックは興味深いことにオープンソースのヒーローになりました。一方で、偶然だと主張することもできます。重みは非公式にリリースされ、TikTokのアルゴリズムと競争しようとしていたからGPUを持っていただけです。あなたは彼と一緒に仕事をしたことがありますが、偶然なのか、それとも彼は常に世界で起こる大きなことの中心にいる人なのでしょうか。
良い質問です。バックストーリーはわかりませんが、彼は確かに賢い人です。過小評価すべきではありません。
明らかに機会主義的な要素もあります。彼らは多くの面で遅れを取っていますから。差別化する方法であり、競合を弱める方法です。しかし、それには問題はありません。彼らにとって良いことは素晴らしいことです。
彼がかなり戦略的な人物であるのに、オープンソースを前進させるためにMetaに頼っていることを心配すべきでしょうか。
ああ、はい。彼らだけに頼るべきではありません。彼らが正しい側にいることに感謝すべきですが、彼らが唯一の存在であることに賭けることはできません。自由とオープンソースを支持する人々の連合体全体を構築する必要があると思います。ただ単にFacebookが私たちを救ってくれると賭けるのではなく。
ハードの質問に続いて、Metaはこれでお金を稼いでいません。彼らは巨大な広告独占からの利益を注ぎ込み、それを使ってオープンソースのAIモデルを構築していますが、お金を稼ぐためではありません。
彼らはお金を稼ぐでしょう。彼らは内部的にもモデルを使用しています。これらのモデルを使って広告のターゲティングや推奨など、彼らのビジネスを推進しているすべてのものを改善する方法がたくさんあります。
もちろん、これは機会でもあります。彼らはFacebook、つまりGoogleやAppleと競争するエコシステムに存在しています。彼らはみな様々な方法でライバルです。だから彼らはお互いに競争しています。競合を弱める能力も重要なのです。
しかし、あなたは具体的に、Facebookがオープンソースを戦略としてお金を稼いでいないと言っていました。
そうですね、彼らはこれをする非常にユニークな立場にいるように見えます。もしザックがオープンソース化をやめる方向に考えを変えたら、他にどのようにして大規模なオープンソースモデルを手に入れることができるでしょうか。トレーニングに10億ドルかかるとしたら、それで10億ドルを稼ぐ方法が明確ではありません。
そうですね、それは答えのない質問です。それは私が持っている根本的な懸念の一つです。これらのモデルを構築するのにとてもお金がかかるため、本質的に中央集権化につながるものだと思います。もしAGIを構築するのに1兆ドルのクラスターが必要だとしたら、それを行うのは難しいです。
しかし、少なくとも私たちにそれを行う権利があるという立法的な基盤を持つことができる範囲で、そしてこれらすべてをより効率的にする方法に取り組んでいる多くのスタートアップがあります。現在はそれだけのコストがかかりますが、新しいハードウェアも開発しています。これらのことを数桁効率的に行える可能性があります。
現在、私たちのアルゴリズムはそれほど優れていないと思います。10年後には、実際の根本的な学習アルゴリズムがはるかに優れており、希望的にはより効率的になっているだろうと賭けてもいいでしょう。より良いハードウェアとより良いアルゴリズムの両方を持つことになるでしょう。
人間をトレーニングするための計算能力と、GPT-4のようなモデルをトレーニングするための計算能力を比較すると、明らかに私たちの方がはるかに効率的ですね。
そうですね、まだ多くの非効率性があると思います。人間の脳は15ワット程度で動作します。ゲイリー、ザックがオープンソースに資金を投入し続ける理由について知っていることを共有してくれますか。
これは私の推測に過ぎませんが、次世代のLLMは、外部の推定によっては、おそらく10億ドル程度で済むかもしれません。Metaは文字通りMetaversを作ろうとしてMetaに名前を変更しましたが、外部の推定によっては、アポロ計画の何倍もの20〜50億ドルを投資しています。
10億ドルはそれほど多くありません。そして、OpenAIやAnthropicのような企業が、これらの信じられないようなフロンティアモデルを持っているのを見ると、Metaにとっては、これらの企業の粗利益を下げることができるかどうかを検討するのは賢明だと思います。
オープンソースモデルをリリースし、自分のピュアなハードウェア、自分の金属で実行できるようにすることは、おそらく最もデフレ的なことができるでしょう。フロンティアモデル405Bで、クローズドAPIの背後にある最高のフロンティアモデルの90〜98%のパフォーマンスを得られるなら、おそらく数十億ドルの純粗利益を蒸発させることができるでしょう。その粗利益はR&Dに使用されるはずでした。
これはGoogleがGmailを無料でリリースし、ストレージを無償で提供したのとそれほど違いはありません。Googleには他の方法で多くのお金を稼ぐ手段がありました。そこで、無料のサービスをリリースできたのです。Facebookには他の方法でお金を稼ぐ手段があります。だから、オープンソースAIをリリースし、他の誰も独自のリードを持たないようにすることができるのです。
採用にも役立つと想像します。もし私がAI研究者で、Metaと他のクローズドソースの会社の間で迷っていたら、間違いなくオープンな会社を選ぶでしょう。
ゲイリーが言ったことに付け加えると、Metaの変化について少し推測すると、彼らが本当にこのメタバースの未来を作りたいのなら、人工知能、AGIを構築することは単なる構成要素です。LLMを構築し、それを広めるためのコンポーネントであるFair Labを構築することは、Metaが非常に真剣に取り組んでいることです。
彼らは今日、数十億ドルを投資して、世界中のメガネの多くを所有する大きなブランドであるルオドの大部分を買収したと発表しました。これはMetaのメガネのためです。なぜなら、レイバンの最新リリースは、これまでの世代で行ったことよりも2ヶ月で多く売れたそうです。人々はこれらのものを本当に気に入っているようです。
推測して直線を引くと、ザックはメタバースを実現することに非常に真剣で、AIはその構成要素です。ARとVRを機能させるためには、デジタル世界を理解する必要があります。言語は一部分、視覚は一部分です。これらはすべて構成要素なのです。そこで10億ドルを投資するのは、ただの…
メタの消費者向け製品へのAIの導入については、あまり感心していません。最近、FacebookのBlueアプリを使っていますが、私はそれが出てきて以来使っています。5年前、10年前に起こったことの写真を見たい、最後にここに来たのはいつか、誰が私の友達だったかなど、Facebookを使う人が欲しがる最も明白なことです。
しかし、彼らは70Bを導入し、一部の地域では405Bにアクセスできるようですが、Facebook.comとWhatsAppの両方で文字通り利用可能です。しかし、私に関する情報についてのRAGはありません。これは明らかな自己目標のように見えます。
一方で、フロンティアモデルを使用して消費者向け製品を作る人にとっては、それはかなり高価なようです。
Blueアプリの方が衰退しているのではないかと思います。実際、InstagramのAIはBlueアプリのものよりもはるかに優れています。日本旅行の計画を立てるのに少し使ってみましたが、多くの写真や場所を提案してくれました。
そうなんですか。InstagramのAIを使ったんですね。私もいくつか試してみました。Perplexityも使いました。
ええ、Perplexityの方がInstagramのものよりも優れていますが、写真は素晴らしいです。
では、先を見据えて、今後数年間でこれがどのように展開すると思いますか。AIについて、一つ私たちがここで話していないのは、私たちがAGIに向かっているのかということです。なぜなら、私たちはバッチのスタートアップを支援することに没頭しているからです。私たちが知っているすべての法則が世界を覆うのでしょうか。スタートアップはあるでしょうか。お金はまだ存在するでしょうか。人間はまだ存在するでしょうか。
そうですね、私たちにはわかりません。これもまたOpenAIの面白い質問の一つです。すべてがAGI後の資金で賄われていて、「AGIが実現したら払い戻します」というようなものですから。お金がまだ存在するかどうかもわかりません。起こり得ることです。
正直に言って、私たちには本当にわかりません。
AGIに確実に到達すると信じていますか。
はい、私たちはその道筋にいると思います。重要なポイントは、AIが研究プロジェクトから、多くのお金を投入してもあまり得られないものから、お金を投入すると多くのものが得られるものに変わったことです。
それは反応が臨界に達したときのようなものです。プルトニウム球があって、それらが少し暖かくなり、それらを一緒に置くと爆発するようなものです。あるいは、DARPAがインターネットになった瞬間のようなものです。
インターネットは90年代半ばにその時点を越えました。突然、より多くの投資がより印象的な結果を生み出し、それがより多くの投資につながります。私たちは今まさにそこにいます。人々は十分に速く資金を投入できないようです。
実際、国家的な問題になっています。AIをトレーニングするために電力供給を増やす必要があるのです。それは国家安全保障の問題になっています。
一度そうなると、そのサイクルが始まり、成長し続けます。私たちはより多く投資し続け、それがAIをより良くし続けます。多くの問題を解決していることは明らかです。なぜなら、それを構築している多くの企業があるからです。
私はそれがただ改善し続けると思います。
なぜそれが賢い人々の間で一致した見解ではないのですか。例えば、MetaのヤンゴンLonは、これがAGIへの道筋ではないと常に主張していますが、彼はかなり賢い分野の専門家です。私にはわかりません。
それは彼に聞く質問ですね。彼の言うことの多くは好きです。オープンソースを支持しているからです。しかし、彼の言う他のことについては説明できません。
AGIのすべての部分があるわけではないと思います。しかし、それは段階的なものだと思います。私たちはこのものやあのものを付け加え続け、ただ段階的に良くなり続けています。
NeurIPSは、すべての主要な研究が発表される大きなAIの学術会議です。実際に、「Attention Is All You Need」論文が発表されたのもそこです。昨年の主要なトピックは、ダニエル・カーネマンの枠組みにおけるシステム1タイプの思考に関するものでした。私たちは計画的なことには非常に長けていますが、人間が行うシステム2のような高レベルの遅い思考はまだです。
システム2とシステム1を理解し、そのギャップを埋めようとする研究が多くあります。それが解明されたとき、私たちはAIへの一歩前進すると思います。
絶対にそうですね。現在、ChatGPTと話しているとき、それは一種の意識の流れのようなものだということを覚えておくことが重要です。人間なら、これらの質問に立ち止まって考えることなく答えられる人はいないでしょう。
次の明らかなステップの一つは、人々が取り組んでいることですが、考える時間を与え、様々なオプションを検討し、アイデアを探索するなど、人間と同じようにすることです。
確かに、企業自体で見られることです。彼らはワークフロー、思考の連鎖、マルチエージェントシステムに多くの時間を費やしています。人間が何をするかを考え、文字通り段階的なワークフローを作ります。
この段落を読んで、プロンプトに関連する0から9の関連性を持つトークンを1つ返す、というような具合です。そして、それを集計して、その段落についてのメタデータ構造を作り、それを埋め込みに落とし込み、最終的な生成ステップで役立てるのです。
これは文字通り、様々な分野での人間の知識労働者が行うことの詳細な時間と動作の研究です。これはまさに私たちのシステム2での思考で起こることです。
あなたが例として挙げたこれらの創業者たちは、現在これらのルールをハードコーディングしていますが、それがAGIへの究極の道筋ではないことは分かっています。今のところはハックですね。
そうです、完全にハックです。しかし、時間が経つにつれて、システムがより知的になると、その部分をより多く引き受けるようになります。
私の信念は、すべてはパターンに帰着するということです。それが、私がこの世代のAIを信じている理由の一部です。ニューラルネットは基本的に、これらの巨大なパターン認識と生成エンジンです。それが私たちの知性でもあると思います。
あなたがブックフェイスに投稿した将来に関するあなたの見解について、もう少し推測してみましょう。知識労働者を区別しない未来があると、非常に具体的な例を挙げていました。
そうですね、思考実験として、私の予測は2033年までに、今日のZoomベースの労働者の多くを、つまりラップトップの前にカメラとキーボードとマウスを持って座っている人を、AIが基本的にその人の仕事を観察し、すべてがバーチャルなので、すぐにそのパターンを学習し、本質的にその従業員をディープフェイクできるようになるというものでした。
そして、Zoomコールで誰かと話しているが、その人が実際にはAIである、という状況になる可能性があります。私たちは今、これらのすべての要素が集まってくるのを見ています。ディープフェイクの能力など、すべてのこれらの異なる点で。
私はそれを例として使いましたが、必ずしもそのように展開するわけではありません。しかし、それは私たちが持つことになる能力です。例えば、これらのZoomベースの仕事の一つを持っている場合、10年以内にそれらのほとんどがAIによって透過的に置き換えられる可能性があると思います。
ああ、そうですね。私たちはその道筋にいます。そのデータはすでにすべてデジタルです。カメラフィード、オーディオ、キーボードとマウスの入力、そのすべてです。おそらく今この瞬間にも、そのすべてのデータを記録し、構築している会社があるでしょう。
そのくさびの先端にあるコミュニティは、r/antiworkです。AIエージェントを作ってあなたをディープフェイクし、r/antiworkがこれは素晴らしいことだと決めれば、それは10億ドルの会社になります。
もちろん、問題はそれらの人々全員にどうなるかということです。私たちが本当に長期的なビジョンを開発し始める必要があるのは、私たちが何を目指しているのか、なぜこのすべてのテクノロジーを構築しているのかということです。
私にとって、それは力がどのように分配されるかという問題に戻ります。これは中央集権的なものなのか、それとも全ての人々に力を与える自由なものなのか。
ロックダウンのシナリオでは、「これらの人間はもう必要ない」と言い始める点に非常に早く到達すると思います。それは、ロックダウンを望む同じ人々が、他の多くの方法で人間をロックダウンしたいと考えるドゥーマーである傾向にもつながります。中央銀行デジタル通貨や個人の自由に対するそのような制限などです。
私が明らかに支持する反対の方向性は、実際に全ての人々により大きな権限を与える方向に進むことです。例えば、子供がピクサー映画と同じ品質の自分のアニメシリーズを作れるようになったとしたら、それは本当に素晴らしいことです。どれだけ多くの物語が語られ、どれだけの創造性が可能になるかを考えてみてください。
私たちはただそこに座って、お互いのために大人向けロボットゲームを作るだけでしょうか。
そうですね、しかし、中央計画の考え方の誤りの一つは、これら全てを計画できると考えることです。私たちにはそれはできません。私たちにできるのは、正しい方向に進み、人々に正しいツールを与えることだけです。全ての人をより賢くし、より良い決定を下せるようにすれば、集合的に世界全体をより良い方向に動かすことができると思います。
しかし、私たちは十分に賢くありません。世界がどのようになるか、これが正確にどのように機能するかを言えるほど賢いと考えるのは間違いだと思います。そのように考えると、人々を檻の中に閉じ込めるようなことになってしまいます。
ポール、あなたが多く考えてきたもう一つのことは、このAIの話が現実になり始めたときの地政学との関係です。現在見られる大国間競争にどのように関係してくるでしょうか。
これは、私たちがここで構築したかった理由の一つです。中国がスーパーAIを持っていたら、それは私たちにとって良くないからです。特に、これらの権威主義的な管理システムから離れておきたいのです。最悪のシナリオは、基本的に永久的なロックダウンに陥ることです。AIが逃げられない全体主義システムを作り出すことができるからです。私たちの思考さえも本質的に検閲されてしまうのです。
私は、これが我々の種にとって災害的なシナリオだと思います。もし私たちが管理の道を進めば、人間は基本的に動物園の動物のようになってしまいます。私はそれを望んでいません。
面白いことの一つは、AIをコントロールしようとする法案、例えばS.1407のようなものです。私たちはそれと戦っていますが、彼らはそれを少し和らげましたが、最終的にはモデル開発者に対して、彼らのモデルが関与する可能性のあることに対して個人的な責任、さらには刑事責任を負わせようとしています。
これは、誰かが酔っ払って車を運転して誰かを轢いたから、車のデザイナーを刑務所に入れるようなものです。非常に陰険です。そのような責任を課すと、それは有毒になります。無制限の責任を持つものには触れたくなくなります。
必然的に、それは彼らが本質的に完全な管理を行使する方法になります。そのような責任を課すと、誰もそれに近づきたくなくなります。そして、彼らは本当に厳しい保護措置を設けることを強く奨励されます。それはまた、私たちの能力を制限することになります。私たちが考えもしなかった方法で。
私たちはこれを最近の歴史でも見てきました。ソーシャルメディアのロックダウンです。コビッドの間、私たちは世界的なパンデミックを経験し、最終的に何千万人もの人々が亡くなりました。人々は家に閉じ込められ、学校は閉鎖されました。そして、その起源について話すことさえ許されませんでした。
これがどれほど破滅的に悪いことであるか、私たちはまだ完全には理解していないと思います。世界で最も重要なことについて意味を理解できないなら、私たちは何も理解できません。
狂ったことに気づくのは、これが基本的に国家主義だということです。中国でさえS.1407のようなことをしているという話を聞いたことがあります。中国のAI創業者たちが文字通り失踪させられ、「あなたが作成したソフトウェア、LLMやモデルが吐き出す出力に対して、個人的に責任を負わせる」と言われたという話を聞いたことがあります。
これは私たちの大きな利点の一つです。自由です。だから私たちが先を行っているのです。そのような環境ではモデルを構築できません。天安門広場について尋ねたら、嘘をつかなければならないからです。
実際、私がxAIについて本当に好きなことの一つは、彼らはまだ素晴らしい製品には達していませんが、素晴らしいミッションステートメントを持っています。最大限に真実を追求するということです。それが本当に重要だと思います。
権威主義体制は本質的に真実を否定します。だから彼らは自分たちを不利な立場に置いています。希望的に言えば、彼らはそこにとどまり続けるでしょう。
だから、私たちがやらなければならないのです。実際に関与し、オープンソースAIのために戦い、それをオープンに保つ必要があります。
ええ、AIが個人の能力を高めるものであって、それを侵食するものではないことを確実にするために戦う必要があります。
ドゥーマーや楽観主義者について比較的中立な人々にとって、どちらかの方向に傾く要因は何だと思いますか。
人々は本質的にどちらかの方向に傾いていると思います。ドゥーマーの考え方は長い間存在してきました。今に始まったことではありません。多くの同じドゥーマーの考え方は、50年代、60年代、あるいはそれよりもずっと前の産業革命の時代の作家たちにまで遡ります。
特に、非常に影響力のあった「成長の限界」という本がありました。ローマクラブのものです。また、「人口爆発」という本も出版され、70年代と80年代に大規模な飢饉が起こると皆が確信していました。
実際、これは私が成長する中でよく aware of だったことです。私は70年代に生まれた5人兄弟の4番目でした。母が店にいると、人々が嫌な視線を向けていたそうです。「あなたは地球を殺している」というような感じです。人々は本当に、今頃には皆が飢饉に苦しむと信じていたのです。
ドゥームの連続があり、常にドゥーマーたちは中央集権的な管理を推進しています。彼らは常に管理とロックダウンの側にいます。人口爆発は何を提唱していましたか。強制不妊手術です。彼らは人々をロックダウンしたがります。
今日でも、彼らは食料供給をロックダウンしようとしています。情報の流れをロックダウンしようとしています。「誤情報との戦い」について話すときはいつも、誤情報とは管理の力を脅かすものすべてを指します。
それは常に、管理対自由、成長対縮小に帰着します。ドゥーマーたちは縮小、ロックダウン、管理を支持します。対して、私たちは自由、成長、オープンソースを支持します。
先ほど少し話していましたが、リチャード・ハミングの講義を見ました。彼は多くの興味深いものを作った伝説的な科学者、数学者です。ハミング符号距離など、ノーベル賞も受賞しています。80年代か90年代初頭の非常に興味深い講義があります。
彼は昔からAIについて書いていました。その講義は、AIの進歩を妨げるものは人間の自我だと言うところから始まります。これは、それをコントロールしたいという欲求や、本当に妨げになるものを思い出させます。それは今でも当てはまります。
確かに、常に多くの自我が邪魔をしています。
YCは大きな役割を果たすと思います。スタートアップコミュニティ全体も同様です。AIがいかに素晴らしいかを示すクールなツールが増えれば増えるほど、すべてが良くなります。そのビジョンがより魅力的になるほど。
絶対にそうですね。これがChatGPTの立ち上げで非常に重要だった点だと思います。たとえOpenAIが明日消えたとしても、彼らの使命の最も重要な部分を達成したと思います。それは、これを公衆の意識にもたらしたことです。
今や、多くの人々がこれに取り組み、考えています。もはやGoogleの中や、政府の秘密の研究所の中に閉じ込められているものではありません。ドゥーマーたちは「これは秘密の政府研究所で行われるべきだ」と言います。それがスカイネットを生み出す方法です。スカイネットは秘密の政府研究所で構築されるのです。
オープンに開発し、幅広い視点で、皆が取り組むことが、楽観的な結果への最良の機会だと思います。
これは理論的なことではありません。United Healthcare Groupのような巨大企業が、AIの使用を既にブロックしているという証拠があります。例えば、請求を通すためのAIコールをブロックしています。それは彼らの利益になります。
彼らはAIを検出し、それと話さないことを決定します。そして反対に、法的には完全に問題のない無限の電話の木で人間を溺れさせることもできます。しかし、あなたの請求は決して払い戻されないでしょう。
これは、私の頭の中で最も極端なカフカ的な状況です。最高のフロンティアモデルを1つか2つの巨大企業に閉じ込め、基本的に独自のペーパークリップを最大化している企業の迷宮の後ろに隠したくはありません。
それは本当に良い例ですね。United Healthにとって全く間違ったことです。彼らがすべきなのは、自分たちのAI音声システムを開発し、他のAIに請求を承認すべきではないと説得するようなものを作ることです。
デフォルトで、もし私たちがすべてをロックダウンする国家主義を持つなら、最も安全なのは、United Healthcare Groupだけが200 IQのフロンティアモデルを信頼されるべきだということになります。なぜなら、それは国家のすぐ隣にあるからです。
必然的に、権力は集中します。Y Combinatorという組織の素晴らしいところの一つは、これらの個人すべてに力を与えることです。19歳の子供を見つけて、何かを構築するのを手伝うのです。サム自身が元々の19歳の一人でした。彼はPGが群衆の中から選び出したランダムな19歳だったのです。
定義上、20代で、コーディングの仕方を知っていて、人々のために何かを構築したいと思っているなら、別の選択肢があります。マイクロソフトで働く必要はないのです。
絶対にそうですね。これがAIの素晴らしいところの一つです。それらのことを行う能力が増大しています。もはや大規模なチームを必要としない非常に成功したスタートアップが見られるようになると思います。
これがYCの創設の背後にあった元々のコンセプトの一部でした。テクノロジーのおかげで、今や数人の子供たちが本物の会社を始めることが可能になったのです。そのトレンドは加速し続けています。
これは今までで最高のエピソードの一つだったと思います。PB、参加してくれてありがとうございます。また何度もお会いできることを楽しみにしています。
ありがとう、ゲリー。今回はここまでです。次回またお会いしましょう。
コメント