トマソ・ポッジオ: トマソ・ポッジオです。もちろん、変わっていません。残念ながら変更せざるを得なかったのは、イスラエルで現在起きている悲しい出来事のため、パネルに参加予定だったアムノン・シャシュアが出席できなくなったことです。彼らは今、戦時状態にあります。ピエトロ・ペロナが最後の瞬間に快く参加を引き受けてくれたので、アムノンの代わりを務めてくれます。したがって、実際に会場にいる3人と、バーチャルで参加する3人がいることになります。この時点で多くの時間を費やすつもりはありません。素晴らしいパネルがあると思いますし、すでに議論されたものも含め、さまざまなトピックについて全てのパネリストの意見を聞くのは非常に興味深いことでしょう。
取り上げたい質問は、まず2つあります。パネリストの皆さんには、この2つについて約5分間話していただき、その後、彼らの間で議論を続けていきたいと思います。最初の質問は、理論についてもっと取り組むのが良いアイデアかどうかということです。大規模言語モデルや他のディープラーニングモデルと人間の知能を比較する理論、そして大規模言語モデル同士を比較する理論です。なぜなら、我々は人類の歴史上、人間の知能以外の知能が複数存在すると主張できる特異な時点にいるからです。そのため、この異なる形態の知能に共通する知能の原理があるかどうかを見極めるのは非常に興味深いことだと思います。
2つ目の質問は、このワークショップを通じて核心となっていたものであり、本質的に神経科学がAIを助けることができるか、そしてAIが神経科学を助けることができるかということです。
私が考えている基本的な原理について少しお話しすると、ディープラーニングと人間の学習に関連する疑問があります。現在存在する主な疑問の1つは、ご存じの通り、次元の呪いです。もし数個以上の入力を必要とする計算や関数を計算しようとすると、望む種類の計算や関数を適切に表現するために、潜在的に指数関数的な数のパラメータが必要になるという問題に直面します。しかし、ニューラルネットワークはこの呪いの影響を受けていないようです。問題は、なぜそうなのか、そしてそれが他の形態の知能にも潜在的に何らかの洞察を与えるかどうかです。OK。古典的コンピューターと量子コンピューターの違いに関連する他の質問もありますが、それは後で議論しましょう。
では最初に、ジェフに聞きたいと思います。ジェフは私を除けば、おそらくグループの中で最年長だと思います。ジェフと初めて会ったのは…確か79年だったと思います、ジェフ。ラホヤでしたね。覚えていますか?
ジェフリー・ヒントン: はい、覚えています。
トマソ・ポッジオ: そうですね。つまり、私たちは十分に年を取っているということです。[笑] そして、それがあなたにこの議論を始めてもらう良い理由になります。
ジェフリー・ヒントン: はい。年齢を考慮に入れることが私の唯一の取り柄だとすれば…[笑] 理論に関する質問は無視させていただきます。私は理論をやっておらず、数学も十分ではないので、他の2つの質問、つまり神経科学のAIにおける役割とAIの神経科学における役割に焦点を当てたいと思います。
神経科学がAIに大きな影響を与えたことは明らかです。単純なプロセスの大規模なネットワークが結合強度を変化させることで学習し、非常に複雑なことができるという考え自体が、最初はあまり説得力がありませんでした。しかし、神経科学があったからこそ、人々はニューラルネットを探求したのです。それが主な影響です。
小さなことはたくさんあります。例えば、ドロップアウトのアイデアは、ニューロンが時々発火すべき時に発火しないという考えから来ています。ReLUのアイデアは、サム・ロイズとヒュー・ウィルソンの両方が、シグモイドは本当にニューロンのあまり良いモデルではないと私に教えてくれたことから来ています。ReLUの方がニューロンのはるかに良いモデルでした。
ロジスティックシグモイドはベイズ的解釈が非常に良いのですが、ReLUほど上手く機能しません。
まだ起こっていないと思われる他の影響の1つで、ハードウェアの理由で起こっていないものは、高速重みです。イリヤは高速重みを実際に実装できるというアイデアをよく知っているでしょうが、行列-行列の乗算ができなくなるため、あまり意味がありません。なぜなら、すべてのケースで異なる高速重みを持つため、異なるケース間で重み行列を共有できないからです。おそらく、人々は最終的に高速重みを使い始めると思います。おそらく重みが伝導度であるような異なるハードウェアを持つときに。だから、それはまだこれから来るものです。
しかし、最近、私は悟りを開きました。この春、アナログ計算とそれをより省エネにする方法について考えていたとき、突然気づいたのです。おそらく、バックプロップを使用して同じモデルの多くのコピーを作成でき、同一に動作するこれらのデジタル知能は、私たちが持っているものよりも実際にはより優れているかもしれないと。それらはまだ私たちが持っているものよりも少し小さいですが、それほど小さくはありません。はるかに少ない重みでより多くの知識を詰め込むことができます。
そして私の現在の信念は、おそらくそれらはただのより良い形態の知能であり、進化することができなかったのは非常にエネルギー集約的だからです。それを作り出すには私たちが必要でした。しかし、私の現在の信念は – これは他の質問、つまり神経科学におけるAIの役割に切り替わりますが – AIの新しい発展は必ずしも神経科学について多くを教えてくれないかもしれないということです。おそらく、脳からインスピレーションを得られる情報のほとんどを得たのかもしれず、現在の新しい発展は必ずしも脳について多くを教えてくれないかもしれません。
これは私にとって全く新しい考えです。50年間、AIを脳に少し近づければ少しだけ良くなると思っていましたが、もはやそれを本当には信じていません。
AIが教えてくれたもう1つのことは、これらの大規模言語モデル、特に大規模マルチモーダルモデルが、脳が人工ニューラルネットよりも統計的に効率的であるという種類の議論を覆したことです。そして、私が思うに、それらが示したのは、以前は人々がMITの学部生がそれほど多くのデータから学べることと、白紙の状態のニューラルネットがそれほど多くのデータから学べることを比較していたということです。そして、大規模言語モデルを取り、新しいタスクでMITの学部生と大規模言語モデルを比較すると、統計的効率にそれほど大きな違いはありません。これが少数ショット学習です。
したがって、AIは私たちがなぜ統計的に効率的なのかについて何かを教えてくれたと思います。そして、私はベイズがかなり昔にそれを言ったと思います。つまり、私たちは非常に豊かな事前知識を持っていますが、デジタル知能が同様に豊かな事前知識を持てない理由はありません。そして、私は5分を使い切ったと思います。
[拍手]
トマソ・ポッジオ: では、ピエトロ。ピエトロ・ペロナはカリフォルニア工科大学の教授です。彼はコンピュータビジョンと計算神経科学への先駆的な貢献で有名です。彼は物体認識、テクスチャ分析、視覚科学研究の進歩に重要な役割を果たしました。これは、ちなみにChatGPTによって書かれたものです。[笑] 少し大げさですが、まあいいでしょう。そして、フェイフェイ・リーのような次世代の研究者たちとも関わり、ビジョン技術の未来を形作ってきました。そして、あなたは空き時間にアマゾンでVPか何かをしていますよね?
ピエトロ・ペロナ: VPではありません。私の肩書きはAmazon Fellowで、現在そこで半分の時間を過ごしています…
トマソ・ポッジオ: OK.
ピエトロ・ペロナ: …主にアマゾンで責任あるAIに取り組んでいます。
こんにちは、ジェフ。こんにちは、デミス。こんにちは、イリヤ。OK、最後の瞬間に頼まれたので準備したコメントはありませんが、いくつかのことを言うことはできます。
私が気づいたのは、純粋にテキストを読むことから得られる知能と、身体化された知能についての議論が行われているということです。そして、私は少なくとも私たちが知っていることの一部は、体を持つことから来なければならないと考えるキャンプにいます。一般的に、知能は身体化されているかどうかによって異なるでしょう。現在、私たちは非常に良い理由で、インターネット上で利用可能なデータのバッチを分析することから得られる知能に過剰に注目しています。しかし、時間が経つにつれて、私たちは世界で行動する知的な機械を持ちたいと思うでしょう。
マーク・ライバートのロボットについては知っています。それらを見ました。高速道路を走行しなければならない車についても知っています。それらはまだドライバーについての適切な心の理論を持っていないので、世界の残りの部分とうまく相互作用しません。そこに行きたいのであれば、知能をどのように行うかについての私たちの見方の一部が変わるでしょう。現在、私たちは相関関係に毒されていて、因果関係を理解できる機械の作り方がわかりません。そして因果関係を理解するためには、基本的に機械に実験を行わせる必要があります。
なぜそうなのでしょうか? 非身体化されたエージェントの場合、予測するだけで十分であり、相関関係は予測には非常に適していますが、世界を変える必要があり、介入する必要がある場合、物事の原因を理解し、因果関係について推論することが基本的に重要になります。私たちはまだ、人間ができるレベルに近いほど実験を行い、設計することができる人工システムを見ていません。私の学生たちが作った機械は、植物や動物を認識する点では、どんな自然主義者よも優れています。iNaturalistをポケットに入れて持ち歩けば、約10万種の植物や動物を認識できます。しかし、実験をどのように行い、結果を解釈するかについて考える点では、どんな下手な生物学者にも及ばない機械はありません。そこは未開の地です。私にとってはとても興味深いです。そこに到達する方法について考えるべきだと思います。
そして人々は超人間的知能について疑問に思います。もちろん、機械には不公平な利点があります。指先で多くの情報にアクセスできます。学んだことを別の機械にパラメータの束を通じて伝達できます。これは私たちにはできません。などなど。より多くのセンサーを使用でき、より能力の高い身体を持つことができます。したがって、少なくともいくつかの領域では、機械が私たちよりも優れた性能を発揮することは明らかです。
そして、トミーが尋ねていた3つ目の質問は理論についてでした。物事は – 地上の事実は非常に速く変化しています。私たちには動く標的があり、もちろん理論を発展させたいと思いますが、それには長い時間がかかります。時々、断片を見ることがあります。例えば、ジェフが言及していたドロップアウトのようなものです。私の考えでは、ディープネットワークに関する最も成功した理論の一つは、過学習を避ける方法と正則化を行う方法です。今では、それをどのように行うかをずっとよく理解しています。それが良い理論の一例だと言えるでしょう。
そして、将来的には、人々ができることというこの動く標的と、出てくるものの混合になるでしょう。世界中の非常に賢い約5万人の人々が物事を試し、何が出てくるかを見ているということを忘れてはいけません。方程式を押し進めるだけではそれに勝つことはできません。この大規模な探索があるのです。したがって、理論家は最も魅力的な標的を選び、そこで作業し、追いつくことができるかどうかを見る必要があります。そして、私たちは理論と実験の両方を見ています。物事がどのように進むかによって、一方または他方が優位に立つでしょうが、どちらになるかはわかりません。
ここで止めておきます。
トマソ・ポッジオ: ありがとうございます。[拍手]
では、デイビッド・シーゲル。デイビッドはTwo Sigma Investmentの共同創設者兼共同会長です。Two Sigmaは大手ヘッジファンドです。そして、私たちが出会ったのは、現在のModernaビルディングで、当時はAIラボでした。あなたはロボット工学者でした。その間、あなたは機械学習にとっておそらく最も難しい金融の分野で働いていました。このAI革命の文脈の中で、研究の観点だけでなく、ビジネス、コミュニティの観点からもあなたの見解を聞くのは非常に興味深いでしょう。デイビッド、どうぞ。
デイビッド・シーゲル: ありがとう、トミー。私は – 最後にそれに触れますが、まず少し目を閉じて、素晴らしい10周年記念の終わりに近づいていることをリラックスして考えてみましょう。子供の頃に戻ってください。とても幼かった頃のことを想像してください。両親と一緒に野原にいて、星を見上げています。その時に持っていたかもしれない考えを再現してみてください。OK。その考えを保持しておいてください。後でそれに戻ります。
私自身の旅と、なぜ知能の研究が重要なのかを考えると、最初は本当に、コンピューターに人間らしいことをさせようとする興味から始まりました。そして、それが私をAIラボに連れて行きました。私は本質的に実用的な問題を解決したかったのです。今日、AIの分野は大きく進歩し、さまざまな種類の問題を解決する驚くべき能力を示しています。それは本当に驚くべきことです。どれだけ考えているかについては議論できますが、結果が私のような事業にどのように応用できるかについては議論の余地がありません。インターネット上のさまざまな種類の技術に浸透しています。それは全て非常に良いことです。
しかし、最近では – そして部分的には、トミーがCBMMを構想していた時に彼と一緒になって – 知能の概念について、それが何を意味し、なぜそれについて考えることが重要なのかについてより深く反省するようになりました。そして、星について夢見ていた昔に戻ると、私は信じていますが、この部屋にいる皆さんは、あそこで何が起こっているのだろうかと考えていたのです。なぜ星が動いているのかを考えていたのではなく、軌道を予測することを考えていたのでもありません。大きな絵を考えていたのです。これは本当に驚くべきことです。これを作ったのは何か? どのように機能するのか? なぜここにあるのか? そして、これは本当に人類がほとんど永遠に研究してきた問題です。
宇宙を理解しようとする努力に多くのエネルギーが注がれています。それは何か実用的なデバイスを作るためではありません。宇宙の理解は、より良い検索エンジンを作ることにはつながりません。私たちはただ – なぜ私たちがここにいるのかを知りたいだけです。これは私たちの存在の一部なのです。知能も同じです。私たちの心を理解することは、私たち自身の存在を理解するための重要な側面です。そして、もし私たちの心が何であり、知能が何であるかを理解しなければ、私たちは本当に自分が誰であるかを知ることはできないでしょう。
そして私にとって、これは基礎研究プロジェクトです。商業的な利益によって動機づけられているのではありません。知能を理解することは、おそらく商業的なAIアプリケーションの進歩に役立つでしょう。それは素晴らしいことですが、それが問題に興味を持つ理由ではありません。宇宙が商業的応用につながる可能性は低いのと同じように、その分野のほとんどの研究者はそのことを気にしていないと思います。
神経科学とAIの実際の質問について少し反省したいと思います。さて、問題を私が試みているように枠組みを設定すれば、答えは一緒に働かなければならないということです。なぜなら、問題は知能の理論と、脳がどのように知能を提供する方法で計算できるかを理解することだからです。そして、意識にまで拡張すると、それを理解するのは難しすぎます。当面は知能にとどめておきましょう。
この知能の理論は、私の考えでは、単なる実験からは生まれません – 純粋に、ああ、それは知的に見えるというだけでは。星の動きを予測するためにモデルを使用することができますが、それだけでは十分ではありません。それは – 子供の頃に夢見ていたときに、あなたは理解したかったのです。つまり、あなたはそれを知らなかったかもしれませんが、重力はどのように機能しているのか、何がそれを一緒に保っているのか、どのように – あなたは理論が必要でした。
したがって、私が信じているのは、私たちがすべきこと – 誰もがこれに取り組む必要はありませんが、CBMMの焦点は大部分私が説明していることにありました。それは商業的なAIをより良くするためのものではありません。それは良いことだと思います。ここにいる人々を含め、その問題に取り組み、素晴らしい仕事をしている人はたくさんいます。私が思うに、私たちがここでやっていることは、私が説明していることに関するものです。そして、私は率直に言って、この種の研究に投資されているお金の量は、私たちが誰であるかを理解するのを助けるための他の大きな課題を研究することと比較して、信じられないほど少ないと思います。
したがって、神経科学の部分とAIの部分は、私の考えでは、この知能の理論、心の理論を理解するために一緒に組み合わせるのが最良の方法だと思います。より良いAIにつながるかどうかはわかりません。おそらく、すでに – 数分前に提案されたように – AIにインスピレーションを与えることから得られる利点のほとんどがすでに達成されているかもしれません。しかし、私にとっては、それは本当に重要ではありません。
そして、私は単に次のように結論づけたいと思います。これは本当に私たちが誰であるかを理解することに関するものであり、そのためには知能の理論が必要です。
[拍手]
トマソ・ポッジオ: まったく同感です。とても良いです。
では、デミス、デミスはDeepMind Technologiesの共同創設者兼CEOであり、それ以上のものです。そして、皆さんご存知の通り、AlphaGo、AlphaZeroなどのゲームの仮想世界で先駆的な成果を上げ、最近では科学の世界でAlphaFoldを成功させました。最近、ラスカー賞を受賞しました。おめでとうございます、デミス。
[拍手]
おそらくまだ正式には受け取っていないでしょうね?
デミス・ハサビス: はい、2週間前です。素晴らしい式典でした。
トマソ・ポッジオ: そうでしたか? OK。はい。そして、その前は、ゲームデザイナーでしたが、本質的には神経科学者で、大学/カレッジで神経科学の博士号を取得しています。これは非常に興味深い事実だと思います。あなたは、おそらく最高のAI企業の1つを率いています。そしてもう1つ、Google。そして、あなたはコンピューター科学者ではなく神経科学者です。では、デミス、お願いします。
デミス・ハサビス: ありがとう、トミー。ジェフが私が言おうと思っていたことの多くを言ってくれました。そして、ジェフの冒頭の発言に多く同意します。私は、神経科学がAIに大きな貢献をしたと思います。それは単にどのアルゴリズム?というよりも、もっと微妙なものです。それはただアイデアのスープだと思います。ディープラーニングだけでなく、強化学習でも、これは重要だと思います。そして他のこと、さらに小さなアイデアでも、記憶の再生、エピソード記憶などのようなものです。これらのアイデアの種は、神経科学の理解から来ています。そして、最終的にシリコンで実装される方法はかなり異なるかもしれません。
だから、私たちはそれを過小評価すべきではありません。そして、神経科学コミュニティはそれを非常に誇りに思うべきだと思います。しかし、私たちは今、新しい時代に入っています。私たちがAIの最先端で行っていることは、非常にエンジニアリング中心になっています。そして、システムはますます脳の働き方から離れていっているかもしれません。私はその認識に4、5年前に至りました。スケーリング則がフロンティアの大規模言語モデルとなったものに適用され始めたようです。実際、それらはもはや言語だけではなく、マルチモーダルになっています。
とはいえ、現在のシステムにはまだ欠けているものがあります。もし私たちが – そして、私たちは過去10年間にわたってこれらの議論を重ねてきました。5年前くらいに話をしていたら、おそらくこれらのシステムがどのように抽象的な概念を学習するのか、または抽象的な概念知識を形成するのか、最終的には言語のような象徴的知識を含めてどのように形成するのかについて議論していたでしょう。たぶん、具現化された知能やシミュレーションを通じて現実世界に根ざすことについて議論していたでしょう。そして、それを行う別の方法があることがわかったのです。
おそらく、産業革命のようなものだと考えています。エネルギーや電力などについて素晴らしい新しいアイデアがたくさんありましたが、それは地中に埋まっていた死んだ恐竜、石炭や石油によって支えられていました。産業革命がそれなしにどれほど難しかったかを想像してみてください。一気に核やソーラーに飛躍しなければならなかったでしょう。そして、私はそれが知能研究とAI研究で起こったことだと思います。そして、その石油に相当するものは、インターネット、この過去20年、30年にわたって全人類が構築してきた巨大な人間によってキュレーションされたアーティファクトです。そしてもちろん、私たちはそれを利用することができます。そして、そこには私たち全員が本当に理解できるよりもはるかに多くの情報があることがわかりました。そして、それが、これらの大規模なスケールのAIシステムが利用できるものです。
だから、私たちは – ところで、人間のフィードバックも含めて、強化学習人間フィードバックですが、実際、私たちは明らかに地に足のついたエージェントであり、これらのAIシステムと相互作用しているので、一種の接地がそこを通じて浸透していると思います。おそらく、それらは接地されていないかもしれませんが、接地されたフィードバックを得ます。したがって、効果的に、そのアプローチを通じて彼らの知識と行動に何らかの接地が浸透していると思います。
さて – だから、まだ欠けていると思われるものがあります。私たちは計画が得意ではありません。事実性を修正する必要があります。また、記憶やエピソード記憶にも余地があると思います。したがって、おそらく神経科学のアイデアからインスピレーションを得る余地はまだたくさんありますが、そのピークはもう過ぎたかもしれません。
一方で、神経科学から取り入れるべきだと思うのは分析技術です。これが私が – そして、トミーとも話しましたが – CBMMに提案したいことです。これらのシステムを理解するのに本当に不足しているのです。非常に難しいです。なぜなら、AIは工学的な科学だからです。まず、アーティファクトを構築しなければなりません。それ自体が非常に難しいです。その後で、それを科学的に分解して理解することができます。そして、それは明らかに動く標的です。だから、非常に経験的な科学であり、理論だけでなく経験的なアプローチも必要だと思います。しかし、主に経験的なアプローチでこれらのシステムが何をしているのかを理解しようとする必要があります。
そして、神経科学の技術と神経科学者がその分析スキルを活かせると思います。私が考えているのは、AnthropicのChris Olahの仕事のようなものです。これらのシステムが何をしているのか、表現やアーキテクチャなどを分析する最良の例だと思います。しかし、それについてもっと100倍くらい研究が必要だと思います。だから、それが目標でなければなりません。
CBMMのような場所ができるもう1つのことは、主要な研究所 – 私たちのを含めて – が分析と赤チーム化の目的で、これらの非常に大規模なモデルへの早期アクセスとアクセスを提供する意思があると思います。そして、重要なのは、能力をベンチマークするためのベンチマークも必要だと思います。それは安全性の意味だけでなく、性能の意味もあります。
例えば、これらのシステムが欺瞞能力を持っているかどうかを知ることは良いでしょうが、それは何を意味するのでしょうか? どのようにして、厳密にテストでき、ある意味で合格できるようなものを操作化できるでしょうか? だから、ここにはたくさんの仕事があります。主要な研究所によって行われている緊急の仕事があると思いますが、十分ではありません。そして、実際には独立した学術機関がこれを行い、その取り組みに参加する方が良いと思います。
おそらく、最後に、これらのシステムが信じられないほど強力になり、おそらくすぐにでも、私たちがこれらをよりよく理解する緊急の必要性があると思います。例えば、これらのシステムが自分自身を説明することに加えて、私たちが表現などを分析する可能性もあります。だから、私はこれができるという楽観主義を持っていますが、もっと多くの人々、もっと多くの素晴らしい研究者がその取り組みに参加する必要があります。ありがとうございます。
[拍手]
トマソ・ポッジオ: イリヤ・サツケバー。あなたはこの中で一番若いですね。最後に話す人です。まず、ジェフリーと一緒にImageNetで素晴らしいことをしました。そして、最近では、OpenAIの共同創設者であり、最高科学責任者か何かをしています。つまり、ChatGPTとGPT-4を担当しているわけですね。イリヤ、どうぞ。
イリヤ・サツケバー: 紹介ありがとうございます。非常に良い点が多く指摘されましたので、簡潔にします。3つの質問が提起されました。理論の役割は何か? 神経科学はAIにどのように役立つか? AIは神経科学にどのように役立つか? それでは、非常に簡単にそれから始めましょう。
理論、理論は人によって異なる意味を持つ可能性があります。ニューラルネットワークの非常に高い複雑さのため、物理学のように非常に正確な予測ができるような非常に正確な理論を持つことは難しいでしょう。同時に、理論は明らかに有用です。そして、今日でも、非常に正確な理論を持ちたいという欲求を諦めれば、突然、パラメータのスケーリング、活性化のスケーリング、その正規化、最適化理論に関するたくさんのアイデアがすべて一緒になり、明らかに今日のAIに非常に有用であることがわかります。このような理論がさらに有用であり続けることを私は完全に確信しています。それが最初のポイントです。
第二に、神経科学はAIに何を与えられるでしょうか? 確かに、すでに言及されたように、神経科学からAIに非常に重要な巨大なアイデアが来ています。例えば、ニューロンの概念。分散表現の概念。それらの多くは以前、デミスやジェフによって言及されました。そして、おそらく神経科学から借りることができる1つか2つか3つのそのような大きなアイデアがさらにあるかもしれません。しかし、神経科学からアイデアを成功裏に借りるには、大きなスキルと信じられないほどの趣味が必要です。
脳は非常に複雑で、神経科学は脳について、ニューロンについて、それらのスパイクについて、そしてそれらのイオンチャネルについて、おそらく脳の大規模な組織についても、信じられないほど巨大な事実のセットを生み出しました。そして、それらのアイデアのどれが付随的で心配する必要がないのか、あるいは脳にある1つの特定のアイデアが私たちの研究のインスピレーションとして使用できるかもしれないのかは、全く明白ではありません。
だから、私たちが発見したものが脳にアナログを持っているか、あるいはおそらくインスピレーションが脳から私たちのAIシステムに行くかもしれないと、数年後に気づくかもしれないと思います。しかし、それは注意深く行われる必要があります。そして、ああ、ただ脳を見てそれをコピーしろとは言わないでしょう。それが2番目のポイントです。
AIが神経科学を助ける。1つの非常に興味深いことがあります。そしてそれが真実であることが判明すれば非常に素晴らしいでしょう。人工ニューラルネットワークによって学習された表現と、視覚と言語処理の両方で脳によって学習された表現が、おそらく予想されるよりも多くの類似点を示しているという証拠が増えています。これは前もって明らかだったとは思いません。だから、おそらく、現在みんなが生み出しているこれらの素晴らしいニューラルネットワークを研究することで、人間の脳がどのように機能するかについてもっと学ぶことができるでしょう。それはかなりありそうに思えます。私はそれが実り多いと思います。
また、デミスの指摘を繰り返し、支持したいと思います。学術界やこのセンターで行うことができる具体的に有用なことの1つは、評価、つまりこれらのモデルが何ができるのか、本当にどれほど優れているのかを理解することです。非常に混乱しています。時々、これらのモデルがあり、一方では驚くべき輝かしい閃きを示します。他方では、非常に奇妙な、静かな非人間的な失敗モードがあります。そこで何が起こっているのかについてより多くの洞察を得ること、さらには1年後や2年後にどこにいるかについての洞察を得ようとすることは、大企業の外部で行われるべき非常に重要な貢献になるでしょう。ここで止めます。
[拍手]
トマソ・ポッジオ: では、座ってみましょう。バーチャル参加者とこの配置を試してみましょう。
まず、議論を導入するためにスライドを2、3枚お見せしたいと思います。はい、なぜなら私たちのパネル – パネルの一部の人々は昨日これを聞いていなかったからです。しかし、これは私が理論が良い理由について話した1つの理由でした。私はボルタが電池を発見した例を挙げ、その発見が電気が何であるかを誰も理解していなくても、すぐに革命をもたらしたという事実について話しました。
ボルタが「ピラ」 – 「ピラ」は「物の山」を意味します – を発明してから20年後、これは亜鉛、コルク、銅の円盤の山です。そしてその20年後には、電気モーターや発電機、電気化学が行われ、電信線が敷設されました。だから、それは大きな革命でしたが、マクスウェルの電磁気学の理論を理解したのはずっと後のことでした。そしてもちろん、これは電気の革命をさらに推進することに貢献しました。1800年、それほど昔ではありません。約200年前です。
だから、理論が重要な理由の1つは、デイビッドが先ほど言及したように、私たち自身を理解したいという多くの他の理由があります。理論を持つということは、何が起こっているかを理解することを意味します。私たちは理論を持ちたいと思います。物理学やマクスウェル方程式と同じレベルの精度である必要はありません。いくつかの基本的な原理かもしれません。
そして、デミスとイリヤも言及した2番目のポイントについて、どのような研究プログラムが考えられるかというと、異なる形態の知能の経験的研究のようなものでしょう。大規模言語モデル、異なるもの。可能であれば人間の知能との比較。これは認知のレベルと、箱の中にあるもののレベルで行われるでしょう。そして、1つの目標は、これらの知的システムに共通する体系的な違いや共通の特性、共通の振る舞い、共通点があるかどうかを探ることです。もしあれば、理想的にはこれらの知的システムに共通する基本的な原理につながるでしょう。共通点がない可能性もあります。個人的には、あると信じています。そして、これは古典力学の正確な意味での理解ではないかもしれませんが、同様に有用で重要なものになるかもしれません。
では、ここから始めましょう。誰か最初に取り上げたい人はいますか? ジェフ、理論についてもう少し詳しく聞かせてください。あなたは否定的な立場か中立的な立場だと思いますが。
ジェフリー・ヒントン: いいえ、私は理論に反対しているわけではありません。理論は素晴らしいと思います。ただ、私はそれをやりません。数学が得意ではないので、より実践的なことをするのが好きです。AIの神経科学への貢献について話したときに言い忘れたことがあります。過去数年間で神経科学に1つの大きな貢献をしたと思います。それは、脳における言語の性質をよりよく理解させてくれたということです。
MITにはチョムスキーという狂った男がいて、全てが生得的だと主張し続けています。今では、そうである必要がないことがわかっています。チョムスキーの言語観は、振り返ってみれば少し狂っています。なぜなら、言語は意味を伝えることに関するものだからです。それは物事を伝えることに関するものです。そして、チョムスキーはその側面を無視しました。車を理解しようとするときに、私たち全員にとって車を理解することは、大部分がエンジンがどのように動作して車を動かすかを理解することを意味するでしょう。しかし、誰かが「いや、いや。車について理解すべきことは、なぜ3輪車と4輪車があるのに、5輪車は決してないのかを理解することだ」と言うのを想像できますね。そして、それが車について理解する必要があることだと。
そして、それは私には、チョムスキーの言語理論のように思えます。彼は特定の統語構造がなぜ不可能なのかを理解したがりました。私が見る限り、彼は言語がどのように意味するかという基本的な問題を避けるためにできることは全てしました。そして、これらの大規模言語モデルがそれに終止符を打ったと思います。チョムスキーの心の中ではそうではないかもしれませんが、ほぼ他のすべての人の心の中ではそうです。
デミス・ハサビス: はい、それに続けて、神経科学におけるAIについても触れたいと思います。ジェフ、私の価値観では、チョムスキーは学部生の頃から完全に間違っていると常に思っていました。そして、自然言語処理を長い間間違った方向に導いたと思います。しかし、それはまた別の日の議論かもしれません。
しかし、神経科学におけるAIについて、その部分を付け加えるのを忘れていました。おそらく今起こるべきことは、これらの素晴らしいAI技術を全て持っているので – そして多くの人々がこれを行っていることを知っています – 脳の状態の分析、デコーディング、あらゆる種類のことに広く適用しましょう。10年、15年前に行っていたことですが、明らかに今ははるかに優れたAIツールを持っています。
私は神経科学から少し離れてここ数年過ごしてきましたが、この分野の印象は – そして部屋の人々は異論があるかもしれませんが – 神経科学側でより良い質問を始める必要があるということです。学習理論や表現について本当に大きな飛躍をもたらす結果を見ていないと感じています。あるいは、私はただ論文を見ていないだけかもしれません。オックスフォードとUCLのティム・ベーレンズのような人々の仕事は好きですが、fMRIが新しいツールとして登場した20年前にあったと感じていたような大きな開花を見ていません。
そして、おそらく今、AIシステムを新しいツール、神経科学の観点からの新しい分析ツールと考えれば、それを行うチャンスがあるかもしれません。おそらく、異なるタイプの実験的神経科学を行うべきかもしれません。つまり、それは部屋の神経科学者への質問です。
だから、私は – そして、トミー、あなたのスライドにリストされていたことに加えて、評価とベンチマークのポイントを再度強調したいと思います。私たちが分野としてそれを行うことは本当に重要です。正しいベンチマークを作成することは、理論も必要とします。出現能力の理論、これらの出現特性がどこから来るのか、これらのシステムがどのようにしてそれらの出現特性を生み出すのかについての理論です。もしそれについてより良い理論があれば、より良いベンチマークを構築でき、そしてそれらがいつ現れるかについてより良い手がかりを得られると思います。
トマソ・ポッジオ: 私の最初の項目はベンチマーキングまたは…
デミス・ハサビス: OK、たぶん私は…
トマソ・ポッジオ: 機械と人間の間、そして機械同士の間の共通点と異なる特徴、側面、振る舞いを見ることでしたが、はい。聴衆の中に神経科学者はいますか? デミスの挑戦に答えたい人は? ジム。
聴衆: はい。私たちの一部は、しばらく前にそのクールエイドを飲んでいました。これらのものを起こっていることの最良の予測因子として使用し、そこから実験を導き出しています。それは、私たちがベンチマークとして提示する新しな現象を生み出します。不明なのは、それらの現象をどのように使用して、より深い理解を構築するためにもう一度クランクを回すかということです。私たちの一部は、神経科学と認知科学の分野では典型的ではない、ベンチマークへの取り組みも数年間行ってきました。
だから、それは難しかったですが、あなたたち両方がそれらのアイデアを支持してくれるのを聞いて素晴らしいです。そして、それらのことにはお金と資金が必要です。また、実験がどのように行われ、なぜ行われるのかについての考え方の変化も必要です。必ずしも直接的な理解を生み出すためではなく、それらのポンプを燃料供給するためです。しかし、実験と予測を超えた次のクランクの回転、そしてそれが – 実験的努力が、ラボが結果を生み出し、それに対する深い理解を生み出すことが期待される分野のインセンティブ構造に向かって自身を修正しないということです。
だから、そのようなプラットフォームを通じて規模で科学を行うことが、私たちが向かうべき方向だと思います。そして、あなたたちが言っていることすべてにそれを聞いています。そして、それはAI生成器を仮説構築者として扱い、私たちがそれらを脳に最も似ているものへと形作るための素晴らしい機会だと思います。そして、それにはそれらのベンチマーキングプラットフォームとそれらの実験的なものが一緒に走る必要があります。だから、私はただあなたが言ったことを繰り返しているだけです。ただ、私は – 私はすでに – そのクールエイドに乗っています。そして、もっと多くの人々がそうなることを願っています。そして、あなたが何らかの方法で私たちを助けることができれば、それは素晴らしいことでしょう。ありがとうございます。
デイビッド・シーゲル: デミスが言っていたこととは少し異なる方向についてコメントします。しかし、関連しています。そして、今日早くに誰かが指摘したように、知能を表示しているAIシステム、大規模言語トランスフォーマーアーキテクチャを研究することは、脳を研究するよりもはるかに簡単です。なぜなら、それをいじり回し、多くの努力をせずに欲しいものを何でも得て分析できるからです。
トランスフォーマーは脳よりもはるかに複雑ではないように思えます。そして、もし私たちがトランスフォーマーアーキテクチャで何が起こっているのかを、「ああ、今私たちは本当に何をしているのかを理解している」と言えるレベルで理解できないのであれば、はるかに複雑になるであろう脳でそれを行うことはほぼ不可能でしょう。だから、私は本質的に神経科学の仕事の一部を、知能を表示しているこれらのアーキテクチャにシフトすることの利点を見ています。
ピエトロ・ペロナ: 私の視点を加えさせてください。現在、私たちは言語を興味の分野として過度に重視している可能性があると思います。そして、人間は知能を示す多くの種の中のただ1つの種であることを忘れるべきではありません。そして、科学の基本的な原則は、現象を可能な限り最も単純な具現化で研究することです。そうすることで、より早くそれの底に到達し、より単純なバージョンから始めて原理を理解することができます。
そして、神経科学はこれを行ってきました。だから、私たちは約100個のニューロンを持つC.エレガンスを研究します。ショウジョウバエは約10万個。マウスは約1億個。人間は1000億個。そして、私たちは忘れるべきではありません。これらすべての異なる種は、電力消費、性能、適応性の間のトレードオフを持っています。そして、問題を多くの異なる種、もしかしたらすべての種の文脈で知能の問題を見るべきです。それは神経科学が貢献できることの1つです。異なる形態の知能に私たちの注意を向け続けることです。
ジェフリー・ヒントン: そのスペクトルについて、人々が非常に異なる見方を持っているのは興味深いです。私はかつてスティーブン・ピンカーと話をしていて、彼に尋ねました。ラットがどのように機能するかを正確に理解したとしましょう – ラットについて可能な限り理解したいと思うことをすべて理解したとします。人間の知能を理解する道のりの半分以上に達しているでしょうか、それとも半分以下でしょうか? そして、私は、ほとんどの生物学者はほとんど道のりを達成していると言うだろうと思います。スティーブン・ピンカーは、「いや、人間の知能を理解するには半分よりもはるかに及ばない」と言いました。
ピエトロ・ペロナ: そうですね。まあ、それは好みの問題です。実際には知りません。そこに到達するまでは。しかし、ジェフ、これらすべての異なる形態に注意を向け続け、人間と言語に執着しないことが価値があると同意しますか?
ジェフリー・ヒントン: もちろんです。
トマソ・ポッジオ: マーク。
聴衆: はい、心理物理学をもっと直接的に議論に持ち込むべきではないかと考えていました。皆さんは神経科学について、まるでそれが特に神経とその相互接続の物理学に関係しているかのように話しています。しかし、心理物理学的実験に反映される人間や他の動物の行動は、エンジニアリングされた知能システムと生物学的システムの両方に適用できるベンチマークを提供する機会があると思います。これにより、ニューロンのレベルや計算の説明のレベルまで行かなくても比較を行う機会が本当に提供されるでしょう。
トマソ・ポッジオ: 少しの間スライドを見せてもらえますか? はい、ここの最初のポイント、最初の項目は心理物理学または認知科学または行動の測定です。ベンチマーキングを含みます。2番目のものはより記録のようなものです。そして、私はこの場合、最初のものがより重要だと思います。
聴衆: しかし、パネルが神経科学に言及したとき、彼らが何を意味していたのか疑問に思います。
トマソ・ポッジオ: 彼らに聞いてみましょう。
デミス・ハサビス: 心理物理学です。ちなみに、心理物理学が実際に私たちが必要としているものだということに完全に同意します。私たちは – おそらく少し早すぎたかもしれませんが、約10年前にPsych Labというものを持っていました。これはAIシステムのための仮想テストラボのようなものです。そして、それはまさにそれだと思います。非常に厳密な管理下での行動テストは、ニューラル記録の同等物だけでなく、おそらくもっと強く押し進める必要があるものです。だから、心理物理学が大きな部分を占めるべきだということに完全に同意します。
ジェフリー・ヒントン: 明確にするための質問があります。AlexNetのようなものを見ると、その決定の大部分は – テクスチャに大きく依存しています。そして、これらの新しいAI生成モデルを見ると、分類を行うためにテクスチャにあまり依存していません。これがあなたが心理物理学と呼ぶものですか? はい。その場合、はい、私たちはもっとそれが必要だと思います。
デミス・ハサビス: しかし、それは他のこともあります、ジェフ。記憶状況やセットアップをテストするようなもの – 小さな実践的な実験のようなものです。実際、もともとはラットの実験をモデルにしていましたが、今ではシステムが洗練されすぎているので更新する必要があるかもしれません。
イリヤ・サツケバー: これについて1つ簡単なコメントがあります。これらの非常に強力なモデルが存在するという事実の良いところの1つは、心理物理学をインスピレーションとして使用することについてここで議論されているようなアイデアの一部について、議論する必要がなく、すぐに試してみることができ、すでに議論するための興味深い結果を非常に迅速に得ることができるということです。そして、「私たち」というのは、大きな研究所の人々だけでなく、強力なオープンソースモデルが今存在します。大きな研究所は研究者にモデルへのアクセスを提供しています。非常に迅速に見つけることができるでしょう。
ピエトロ・ペロナ: OpenAIとDeepMindから聞くのは興味深いかもしれません。どのようにリソースを配分していますか? 明らかに明白な商業的・産業的目標がありますが、良い仕事をしない限り成功しないでしょう。技術、理論、神経科学の間でリソースをどのように見ていますか? あなたの会社内でそれをどのように見ていますか?
デイビッド・シーゲル: 考え方の1つは – 同意するかどうかわかりませんが、一般的に産業界では、特定のアプローチに賭けてそれを改善し続ける傾向があります。学術界では、常に新しい思想家や新しいアイデアが入ってくるので、もっと飛び回っています。そして、とにかく物事をスケールアップするためのインフラはありません。これは、私の考えでは、アイデア創出の自然な分割です。
イリヤ・サツケバー: その質問は、製品のニーズと研究のニーズの間に緊張関係があることを示唆しています。そして、ある意味ではそれは事実です。別の意味では、それははるかに事実ではありません。そして、それがあまり事実ではない意味を説明したいと思います。
異なる企業間でのAIの性能にかなりの競争があることは明らかです。つまり、あまりに近視眼的になると、来年や2年後にはあなたのAIの性能が良くなくなるということです。そして、それはAIを継続的に改善したいという多くの欲求と単純な商業的インセンティブを生み出します。改善は、より能力を高めることだけを意味するわけではありません。また、短期的なAIをより安全にすることや、人間よりも賢くなる長期的なAI、ちなみに、それらのAIも構築されるでしょう、超知能AIを安全で、整列し、一般的に人類に対して肯定的な傾向を持つようにする作業を行うことも意味します。
しかし、どのようにしてこの長期的な研究を行うのでしょうか? 簡単な答えはありません。基本的に2つの答えがあります。多くの優れた研究者を雇い、彼らに自由を与えることができます。これは1つのアプローチです。もう1つのアプローチは、正しいトップダウンのアイデアがあり、自信があれば、検索空間を絞り込んでこの方法で進歩を遂げることができます。そして、それが基本的に – それは哲学です。物事がどうあるべきかについてどのように考えているか、単に現在どうあるかではなく。私は、これらすべてのことが一緒に要因となって、進歩を続けると思います。
ピエトロ・ペロナ: では、もう1つ質問してもいいですか? つまり、別の質問を提起します。デミスが以前言っていたことに戻りたいと思います。テストと理解の仕方にもっと投資する必要があるということです。これは私の考えと非常に共鳴します。私はビジョンの分野でベンチマークを通じて問題を定義することに関わっていました。そしてそれはしばらくの間うまくいきました。
しかし、今、これらの大規模なビジョンと言語モデルについて考えるとき、タスクが何であるかを定義し、それを測定するためにどのようなベンチマークを使用すべきかを定義することがますます複雑になっていることに気づきます。そして、多くの人々が現在、以前よりも良いのか悪いのかを決定するための良い指針を持っていないと感じています。
そして、企業や大学の科学者の生活について考えるとき、彼らは自分たちがより良いことをしているかどうかを決定しようとして、しばしば誰かの論文のどこかにある非常に単純なベンチマークに頼っていて、それらが何を意味するのかさえわかりません。
そして、神経科学の側面を見ると、私たちにもそれがあります。脳がどのように機能するかを理解することに興味がありますが、多くの人々が研究室で、動物が動物にとって生態学的な意味があるかどうかさえ不明確なタスクを実行しなければならない非常に定型化された準備に終わっています。そして、動物は何ヶ月もかけてそれを過度に学習し、そして私たちはニューロンが何をするかを研究します。そして、知能の生態学的価値についての私たちの見方において、それが何をするのかは非常に不明確です。
そして、両方の分野で、知能は何のためにあるのか、行動とは何か、動物や自動機械は何を達成しようとしているのか、そしてある意味で、これらの生き物の生態学的適応度をどのように測定するかを再考する必要があると感じます。
デミスが提起した非常に豊かな一連の質問があると感じます。そして、私は疑問に思っています – わかりません。デミスの考えは知っていますが、ジェフとイリヤがそれについてどう考えているのか疑問に思っています。私が言っていることに同意するかどうか、パフォーマンスを測定するのが難しいということに。
イリヤ・サツケバー: はい、パフォーマンスの測定が非常に難しいということに疑いの余地はありません。いくつかの例を挙げたいと思います。AIに関わっていた人々は、2010年代半ばに視覚におけるスーパーヒューマンパフォーマンスの達成に関する主張を聞いたことがあるかもしれません。ある時点で、一部の研究者がImageNetデータセットで視覚におけるスーパーヒューマンパフォーマンスを達成しました。しかし、私たちは明らかにこのタスクでスーパーヒューマンではありませんでした。それはどういうことでしょうか? まあ、それはそれほど大きな問題ではありませんでした。なぜなら、これらのニューラルネットは単なる学術プロジェクト – 非常に意欲的で情熱的な個人が取り組んでいる研究プロジェクトだったからです。それは重要ではありませんでした。
今、私たちははるかに洗練されたニューラルネットを持っています。それらは広く使用されています。そして、それらのパフォーマンスを理解するのは難しいです。例えば、オンラインで見つけることができる大規模言語モデルチャットボットのいずれかを取り、難しい数学の問題を解くように頼んで、それが解けた場合、それは推論して理解したからでしょうか? それとも、トレーニングセットで何か少し似たものか、あるいはある程度似たものを見たからでしょうか? そして、トレーニングセットはかなり大きいです。
そして、これは混乱を引き起こします。人々が本当にクールな振る舞いの例を興奮して投稿しているのを見るかもしれません。それらはバイラルになります。そして、他の人々が同様のことを試そうとして失敗します。これは、私たちのニューラルネットが機能しないということではありません。明らかに機能します。しかし、測定が本当に単純明快ではないということを示しています。そして、これは非常に意味のある概念的および経験的な貢献の余地がある分野だと思います。
ジェフリー・ヒントン: 1つ小さなコメントがあります。以前、GPT-4がウェブを見ることができるようになる前に実験を行っていました。2023年1月 – または22年だったかもしれません – 以前に知っていたことすべてについて、かなり自信を持っていました。そして、ログアウトしてログインし直し、質問を少し変えたバージョンを尋ねて異なる応答を得ることができました。もはやそれはできないと思います。誰かが実験について話すたびに – GPT-4はウェブ上でその実験についての議論を見ることができるでしょう。これは私の推測ですが、何らかの系統的な実験を行うのは非常に難しくなるでしょう。
デミス・ハサビス: ピエトロ、これについての私の考えは、簡単だったら、すでに行われているだろうということです。だから、間違いなく簡単ではありません。なぜなら、このコールにいる全ての人々 – そして私はこれについて15年、20年考えてきました。そして、私たちは何千人もの研究者を持っています。とても難しいです。しかし、私のポイントは、これが壮大な – これが私がトミーに提案したいことです – もし私が今MITとCBMMにいたら、これが私がすることです。最大のモデルを構築するこのコンピューティングレースに参加する必要はありません。分析と安全性の作業のためにモデルへのアクセスを提供すると思います。だから、それがあると仮定してください。そのレースに参加する必要はありません。
私たちが本当に必要としているもの、そして主要な研究所のすべての人から聞いているものは、これは – そして、これには理論、神経科学、心理物理学、実践的な実験が含まれます – 出現特性、正しいベンチマーク、イリヤが言うように、これらの新しいタイプの知能をテストするという問題をどのように扱うかということです。私たちは全てこれを見てきました。AlphaGoでは、システムは世界チャンピオンよりも優れていますが、分布外に出ると、今日でも奇妙なことをさせることができます。私たちはそれを修正できますが、ただのGoのためにはそれを行う意味がありません。しかし、これらは人間の知能が持つことができないような大きなデルタの穴を持つことができる凸凹な知能です。なぜなら、人間が学ぶ方法とは異なるからです。
だから、おそらく今日私たちが持っていない全く新しい学習理論やメタ理論が必要かもしれません。だから、私は今後5年、10年間の非常に豊かな空間だと思います。これは、おそらくMITとCBMMが得意とすることに適合するでしょう。そして、非常に必要とされ、緊急に必要とされていると思います。そして、おそらく主要な研究所が得意とすることを補完するものです。私たちはGoogle DeepMindでそれを少し試みています。AIラボにとってはかなり珍しいことですが、いくつかの神経科学者がいます。しかし、そのような場所でそのような仕事を行うことに惹かれる人は十分ではありません。
だから、これは大きな機会だと思います。そして、もし人々がこれらのシステムを展開し、これらのシステムの安全性に取り組み、次の10年間にわたってAGIや人間レベルの知能に近づくにつれてそれに取り組むことを考えるなら、これは絶望的に必要とされていると思います。だから、私の見解では、より明確なミッションや喚起の呼びかけはないと思います。そして、それに加えて、もちろん、今日議論してきたように、多くの異なる方法で人間の心を理解するのに役立つでしょう。とにかく、ここで止めます。
デイビッド・シーゲル: 簡単に付け加えます –
トマソ・ポッジオ: デイビッド。
デイビッド・シーゲル: 言われたことすべてに同意します。ベンチマーキングは非常に難しいです。部分的には、たとえそれが明確に定義された問題であっても – 特定の問題には正解があり、ベンチマークを行うことができますが、多くの – ほとんどの問題には正解がありません。それは例えば、コンテキストに依存したり、あるいは – もしこれについて早く話しているなら、あなたの哲学的枠組みが重ねられます。だから、曖昧な出力を扱う場合、ベンチマーキングで何を意味するのかについて本当に考える必要があります。私は本当にわかりません。
そして、それに付け加えて、ベンチマーキングは本当に重要です。なぜなら、もしベンチマーキング機能を決定すれば、人々は本質的にそれを最大化するようにモデルを調整するはずだからです。そして、もしベンチマーキング機能を間違えてしまったら、間違ったことに長けたものを構築してしまう可能性があります。
トマソ・ポッジオ: とても良いです。他にも聞きたい質問がたくさんありますが、その前に、聴衆に質問をする機会を与えましょう。では、見てみましょう。誰かが最初でしたね。まあ、ランダムに行きます。では、ジャン＝ジャック。
聴衆: はい。これは以前に言及されましたが、もう少し直接的に聞かせてください。私たちは皆、進化の考えで育てられました。特に、脳が感覚運動制御の洗練から進化したという事実です。ホヤという小さな動物の逸話があります。これは泳いで岩に固着し、その時点で自分の脳を飲み込みます。もう動く必要がないからです。
だから、ここで私たちは奇妙な場所にいます。LLMでは動きの前に言語があります。ある意味で、会話エージェントなどがありますが、配管工ロボットには程遠いことを知っています。そして、確かにLLMはデミスが言うように、インターネットのすべての知識を吸収しましたが、例えば、私は何かを操作しているときに自分が何をしているのか、何を感じているのかの詳細を説明することはできません。これは簡単に説明できるものではありません。
だから、この種の言語が動きの前にある行動を持つことで、何かを見逃しているのでしょうか?
ジェフリー・ヒントン: それは完全に真実ではないと思います。例えば、ルービックキューブについてコメントできますか。
イリヤ・サツケバー: 私は、データが化石燃料として存在するという類推が素晴らしいと思います。そして、その化石燃料が今日私たちが持っているAIを作る上で重要な役割を果たしたのはそのためです。そして、少なくとも今のところ、過去にはロボットは高価で、ロボットのデータはありませんでした。高価で、誰も大きなニューラルネットを訓練してロボットで実行することはできませんでした。だから、今日うまく機能しているレシピはロボットには適用されませんでした。
非常に急速に変化しています。様々な研究所が生み出しているロボット工学の進歩を見ると、かなり良さそうです。私の意味は、Googleからの本当にクールな仕事、DeepMindから、最近ではトヨタTTIC、トヨタ技術研究所からです。彼らは本当にクールなニューラルネットを訓練してロボットを制御し、パンケーキをフリップするなどのことをしています。そして今、それが可能になっています – 人々は今、それが可能だと信じています。以前は信じていませんでした。
確かに、私たちが持っているAIはロボットほど完全ではなく、確かに機能完全ではないと主張することができます。しかし、ロボット工学の進歩を見ると、数年後には状況が非常に異なって見えると思います。
デミス・ハサビス: はい、それに同意します、イリヤ。私たちはちょうど私たちのRTX汎用ロボットシステムをリリースしました。それはまだロボット工学で一般的に可能なものとはかけ離れていますが、これが言語とは異なるとは考えないでしょう。言語はすでに非常に難しく、それは実行可能でした。そして、私たちにはそれを回避する他の方法があります。非常に現実的なシミュレーション、物理シミュレーション。そして、大規模なロボットファーム、アームファームからより多くのデータを収集することもです。これらを回避する方法があると思います。そして、汎用モデルからロボット工学の領域に一般化することです。私は、それが今後数年でそれほど難しくないと思います。だから、私の意見では、具現化が異なることを過度に重視しないでしょう。
聴衆: 産業界と学術界の交差点に座っている私たちにとって、イノベーションを推進し、したがって実世界で生活を改善するために理論を実践に適用する方法を考えるとき、ここで聞きたい質問があります。質問やプロブレムを枠組みすることの重要性は皆知っています。そして、私たちは仮定の穴や盲点で何が起こったかについて話しました。だから、ここで問題です。20年前にさかのぼって、このAI分野を見たときに、当時は認識していなかったかもしれない潜在的な盲点で、今日に反映されているものは何でしょうか?
例えば、デイビッドの場合、Two Sigmaを始めたとき、機械技術を非常に不完全な現実世界 – データの不完全性、システムのダイナミクス、異なる当事者間の対立する動機 – で使用する際の旅で、おそらく教えたり、データや情報を伝えたり、次の20年間でAIと人間をどのように見るかを推測するのに役立つかもしれない盲点は何でしょうか?
デイビッド・シーゲル: それに対する簡単な答えは、本質的に間違ったデータや不正確なデータから学習している場合、明らかに望ましくない出力を得ることになるということです。そして、理論を持っておらず、完全にデータ駆動型である場合は、データについて非常に注意深くなければなりません。
だから、それが、物事が非常に経験的になったときに心に留めておくべき一般的な教訓だと思います。
聴衠: はい、産業界のパネリストの方々に聞きたいのですが、実際に大規模な心理物理学的に制御された実験とアライメント研究をMITのような場所で地に足をつけて行うにはどうすればよいでしょうか。少なくとも過去5年間、この分野で私が観察したところでは、神経科学/AI研究への最大の貢献はFacebookのPyTorchモデルだったと言っても過言ではありません。これらは私たちの研究で使用するモデルの傾向があります。私たちはこれらのモデルのオープンソースで利用可能なバージョン間で実験を行おうとしています。
しかし、例えば実験の心理物理学的パラメータについて大規模な実験的グリッド検索を行うことと、GPTのような大規模なものよりもはるかに小さなモデルを訓練できるが、多くの異なる仮説をテストするために大規模に多くの異なるバージョンを訓練する必要がある、より小規模なモデル心理物理学的検索の両方を行うことが非常に有益だと思います。ハーベルとヴィーゼルが小さなペンと紙で画面上でグリッド検索をしていたようなものです。産業界がモデルを訓練しているスケールでそれができれば、実際にはるかに高いペースでアライメント研究を追求できるかもしれません。
だから、そこへの扉は何か、どのように考えているか、どのようなリソースを割り当てる意思があるか、そして学術界からの堅固な管理とチェックを伴う大規模な実験をどのように行うかについての会話をどのように始められるかについて、私は疑問に思っています。
デミス・ハサビス: まあ、簡単な答えを出せると思います。聞いてください、主要な研究所は – そして、私たちは政府ともこれについて話をしています – モデルへのアクセスを提供する意思があります。だから、それを出発点として考えるべきです。そして、それらのモデルの一部はできません – オープンソース化に関する全体的な質問があります。これは今日の範囲外ですが、明らかな悪用のケース、強力な技術を手に入れて悪い目的のために再利用する悪意のある行為者の使用ケースなどの質問に答えなければなりません。悪意のある行為者は個人や国家である可能性があります。
だから、これらの質問に答える必要があります。同時に、明らかにオープンサイエンスの流れを保ちながら。だから、簡単ではありません。別の非常に難しいことがあります。さもなければ、すでに解決されているでしょう。
イリヤ・サツケバー: はい、これについても簡単にコメントします。OpenAIを含む多くのAI研究所が学術研究のためにモデルへのアクセスを提供していることは事実です。そしてそれが本当に答えです。ライブモデルは高価ですが、それでもたくさんのことができます。確かに、人間やラットなどと比較して、モデルに対して心理物理学にインスピレーションを得た実験を行うのははるかに簡単です。
聴衆: マノリス・ケリスと申します。MITのAIとコンピューターサイエンスの教授で、私の研究はゲノミクス、計算生物学、そして分子神経科学にも多く関わっています。つまり、人間の病気の分子的基盤です。この会議の多くの人々は、人間のニューロンの多様性と、統合失調症や神経変性、アルツハイマー病などの脆弱性が実際に非常に特定のニューロンのメカニズム、非常に特定のニューロンのサブクラスを指し示していることについて、多くの疑問を持っています。そして、大きな議論があります。今日も多くそれについて話しましたが、脳に異なるタイプのニューロンがあることが本当にどれほど重要なのか。興奮性抑制性ニューロンの数十の異なるタイプの役割、グリア細胞の役割などを理解しようとすることがどれほど重要なのかについてです。
あなたの見解では、AIは現時点でそれと完全に切り離されていますか? 私たちが今日の位置に到達するために必要だった方法の進化的な奇妙な副産物が、脳のこの驚くべき複雑さにつながったと考えていますか? そして、もし私たちが単に巨大な皮質だけで最初からやり直したら、同じように知的だったでしょうか?
そして、それに関連して、私たちは具現化された知能について多く話しています。感情の役割、複数の感覚入力の収束の役割について。これらのエングラムを通じて記憶する能力について。だから、私は好奇心があります。あなたの見解では、人間の知能は人間を理解するためだけに有用なのでしょうか? それとも、この麺の袋がエネルギーの工場が認知の面で達成するのに必要なことを達成した方法を理解することから、真のパラダイムシフトをもたらす能力が生まれる可能性があるのでしょうか? そしてもちろん、麺の袋は取り残されるかもしれませんが、エネルギーの面ではどのような代償を払うのでしょうか?
ジェフリー・ヒントン: 私の推測では、脳は長い進化の期間にわたって高度に最適化されてきました。したがって、これらすべての異なる種類のニューロンを持っているのは、それらすべての異なる種類のニューロンを持つことが役立つからですが、はるかに少ない種類でもかなりうまくいくでしょう。明らかに、いくつかの種類は必要です。
例えば、AIモデルにおける層正規化は、脳における抑制からインスピレーションを得ています。したがって、これらのAIモデルには、そこから来る神経の多様性が少しあります。しかし、私の推測では、クリックの見解のようなもので、進化は試行錯誤を行う者であり、長い間それを行ってきて、これらの小さなトリックを思いつき、それらが異なる種類のニューロンに具現化されていますが、おそらく知的なシステムを得るためにそれらすべてが必要というわけではありません。
イリヤ・サツケバー: これについて1つ簡単なコメントがあります。訓練されたニューラルネットワーク、おそらく大規模な訓練済みオープンソースモデルを取り上げると、すでに多くの興味深いニューロンタイプを発見する可能性があります。実際、それはとてもありそうです。
聴衆: パネルは素晴らしいです。そこで、AIが可能にする科学革命についてのあなたの意見を聞きたいと思います。AIはすべてでしょうか？AIにできないことはありますか？AIと科学を組み合わせるとどうなりますか？はい。
ジェフリー・ヒントン: デミスはすでにそれができることを示しています。
デミス・ハサビス: そうですね。これは私の目標であり、最初からの情熱でした。これが私が人生をかけてAIに取り組んできた理由です。私たちを取り巻く世界と宇宙を理解するのを助けるためにAIを適用できる興奮の瞬間が今来ています。AlphaFoldは、私たちが何をできるかについての私の名刺だと思います。そして、10年後に振り返ったとき、それがAIが可能にする生物学やAIが可能にする科学の新時代の始まりに過ぎなかったと希望しています。
現時点で、私たちが構築したすべてのシステムを見て、非常に単純に要約すると、巨大な組み合わせ検索空間がある状況で、そしてしばしば多くのことがそのように表現できます。おそらく材料設計、化学、生物学の多くのことがそうです。そして、そこには解決策があります – タンパク質が折りたたまれる可能な方法のすべての中から正しいタンパク質の折りたたみなど、その解決策を見つける必要があります。まず、基礎となる空間のモデルが必要です。そうすれば、その扱いきれない空間を扱える方法で検索して、干し草の山の中の針を見つけることができます。
AlphaGoは基本的にそれです。ただし、明らかに囲碁のゲームにおいてです。なぜなら、検索だけでは不可能だからです。囲碁とその力学、囲碁のモチーフについての何らかの合理的なモデル – それほど優れている必要さえありません – が必要です。AlphaFoldも同じです。だから、私は現時点で、既存のシステムですでに解決できる科学の問題が多くあると思います。次に来るシステムが自分で新しい仮説を生成したりできるようになる可能性はさておき。私たちはまだその段階にはいないと思います。私たちは仮説を入れ、質問を枠組みし、データを与え、モデルを構築する必要があります。
だから、それは今のところ人間の専門家が使用するためのツールです。そしてそれは非常に一般的です。私たちはそれを生物学だけでなく、化学、核融合、プラズマ封じ込め核融合、そして数学や定理証明にも適用しています。だから実際に – このように考え始めると、このタイプの設定に適合する科学の問題が多くあると思います。
デイビッド・シーゲル: 今日話している内容に適した問題です。私は常に、AIが十分に急速に進歩して、おそらく脳を理解する問題を解決するのを助けることができ、この全体をフルサークルで適用すべきだと信じてきました。
トマソ・ポッジオ: はい、すべてのパネリストの間で簡単な世論調査をさせてください。あなたが言ったこと、そして何度も議論されたことの根底にある1つの質問は、最新の大規模言語モデルがどれほど独創的または創造的かということです。もちろん、例えばAlphaGoが韓国でマッチに勝った時にいくつかかなり創造的な手を打ったことは知っています。だから、それは可能です。しかし、非常に具体的に言うと、既存のモデルまたは次のGPT-4、例えばGPT-5などが、新しい非自明な数学的予想を述べることができると思いますか？証明するとは言っていません。述べるだけです。今後5年以内にそれが可能だと思いますか。
イリヤ・サツケバー: 現在のモデルがそれをできないと確信していますか？
トマソ・ポッジオ: 確信はありません。絶対に。できるかどうか知っていますか？
イリヤ・サツケバー: つまり –
ジェフリー・ヒントン: 例を挙げましょう。GPT-4がすでにできる創造的なことで、ほとんどの人にはできないことがあります。私たちはまだ、論理的推論が知能の本質だと考えるという考えに囚われています。しかし、私たちは類推を見ることができること、特に遠い類推を見ることができることが、知能の非常に重要な側面であることを知っています。
トマソ・ポッジオ: しかし、一部の人々は…
ジェフリー・ヒントン: まあ –
トマソ・ポッジオ: はい。
ジェフリー・ヒントン: GPT-4に、堆肥の山と原子爆弾に共通点は何かと尋ねました。GPT-4はそれを的確に答えましたが、ほとんどの人は何もないと言うだけです。
デミス・ハサビス: 何と言いましたか？
ジェフリー・ヒントン: まず、エネルギースケールが非常に異なるので、一見すると非常に異なるように見えると言いました。しかし、その後、連鎖反応について、そしてエネルギーを生成する速度がエネルギーを生成する速度を増加させる方法について説明し始めました。つまり、連鎖反応のアイデアを理解したのです。そして、重要なのは、人間の1万倍もの知識を持っているので、私たちには見えない類推をたくさん見ることができるということです。
デミス・ハサビス: はい。だから、これについての私の感覚は、AlphaGoから始まり、明らかに今日のBardやGPTのようなシステムまで、それらは明らかにある意味で創造的です。詩を作らせると、今では詩がかなり素晴らしいです。素晴らしい音楽を作ることができるシステムがあります。私たちが非常に創造的だと考えるようなものがたくさんあります。すべての画像関連のもの、テキストから画像への変換のようなものです。
しかし、トミー、あなたが尋ねていることはまだ不可能だと思います。私の推測ですが。なぜなら、私たちは断定的に言うことはできません。なぜなら、私は以前おそらくあなたと、そしてCBMMでも話したことがあると思いますが、3つのレベルの創造性があると考えています。そして、私たちは明らかに最初の2つを持っています。
まず、補間があります。見たものを平均化して新しいものを作り出すこと、例えば見たすべての猫の画像から新しい猫を作るようなものです。これが最も低いレベルの創造性です。次に外挿があります。これが私たちが今いるところだと思います。AlphaGoの37手のような新しい囲碁の戦略。新しい音楽の断片、新しい詩、そして人間には気づけないような物事の間の類推を見つけることです。そして、これらのシステムは間違いなくそれができます。
しかし、次に3番目のレベルがあります。私は発明や枠外の思考と呼んでいます。それはAlphaGoが囲碁を発明するようなものです。良い囲碁の手を思いつくのではなく、囲碁やチェスを発明することです。そして、それらはそれができません。人間のゲーム愛好家が古典的に良いと考えるような、何か美学的に同じくらい良いものを。そして、それらはできません。あるいは、ピカソがキュビズムを思いつくことや、偉大な数学者が新しい予想を思いつくことです。しかし、それは魔法だとは思いません。私たちはそれができるシステムを持つことができると思いますが、今日それらができるとは思いませんし、まだ何かが欠けていると思います。しかし、将来的にはそれができるようになると思います。
トマソ・ポッジオ: 私もデミスに同意します。イリヤはどうですか？同意しますか、それとも…
イリヤ・サツケバー: つまり、今日存在するニューラルネットワークは明らかに、そして疑う余地なく創造的です。それらは歴史上最も創造的な人間ほど、すべての分野で創造的ではありません。そう言えると思います。
トマソ・ポッジオ: はい。私は数学について尋ねていましたが…
イリヤ・サツケバー: まあ、予想は少し難しいです。
トマソ・ポッジオ: まあ…
イリヤ・サツケバー: もう推測することができます…
トマソ・ポッジオ: それはまさにデミスが言ったことに当てはまります。群論を…または何かを発明できますか…
イリヤ・サツケバー: それは予想とは異なります。群論は少し…ここで話している基準はかなり高いです。[笑] 文字通り他に何も残らないでしょう。
デイビッド・シーゲル: これの多くはベンチマーキングの問題に戻ると思います。創造性においても、どのようにしてそれをベンチマークするのでしょうか？
私が苦労しているのは、ベンチマークがなければ…コンピューターは発明されたほぼ瞬間から、特定のタスクで人間を常に凌駕してきました。だから、ここで本当に何が起こっているのかを理解するには…私は言われていることに同意しないわけではありませんが、デミスや他の人が指摘したように、本当にベンチマーキングの問題に焦点を当てるべきだと思います。
ジェフリー・ヒントン: 歴史的なコメントをさせてください。私は長い期間、人々が「ニューラルネットは決してXをすることはできない」と言うのを見てきました。ゲイリー・マーカスの全集は、その良い歴史です。[笑] だから、私はもはやそれらの声明を信じません。なぜなら、人々が言ったほとんどすべてのことについて、今ではそれらができるからです。そして人々は…数学の定理を証明することはかつて、「まあ、ニューラルネットワークは決してそれをすることはないだろう」と言われていたものでした。そして人々は、ただタスクを難しくし続けています。
私はデミスに完全に同意します。人々ができることで、それらができないと信じる理由はありません。深遠な新しい数学的予想を思いつくことはまだできないかもしれませんが、それは20年後にはできないということを意味しません。
イリヤ・サツケバー: しかし、私たちはそれについて同意しています。存在の証明があります。脳はニューラルネットワークです。
デミス・ハサビス: はい。脳で非計算的な何かが起こっていない限り。
トマソ・ポッジオ: その通りです。はい。
デミス・ハサビス: つまり、非常に賢いものか、非常に洗練されたものか、非常に進化したものかもしれません。
トマソ・ポッジオ: いいえ、私の質問は既存のパラダイムと変換器と大規模言語モデルについてでした。そして、はい、ここから始めて、私は何か独占的な領域を侵害していないか確信がありませんが、変換器の次のアーキテクチャがどのようなものになるかについて何か考えがありますか？ジェフ。ジェフ、何か考えがあるはずです。
ジェフリー・ヒントン: もし考えがあったとしても、十分な計算能力を持つまでは公の場では言わないでしょう。[笑] 少なくとも、大学院生がそれに取り組むまでは。
トマソ・ポッジオ: ピエトロ。何か考えは？
ピエトロ・ペロナ: いいえ。[笑]
トマソ・ポッジオ: イリヤ？はい、でも話せないのはわかります。理解しています。[笑] よし。
聴衆: オープンサイエンスはどうなったのでしょうか。
トマソ・ポッジオ: では、神経科学に移りましょう。私が思うに、質問は、機械学習に大きな影響を与えるような神経科学のブレークスルーは何でしょうか？そして、私は、脳での学習がどのように行われているのか、バックプロパゲーションによって行われているのか、それとも他の何かによって行われているのか、もっと知ることができれば素晴らしいと思います。ニューラルネットワークの爆発的な進歩において最も劇的な要因の1つは、バックプロパゲーションと勾配降下法だったと思います。
したがって、多くの人が考えているように、それが生物学的に妥当でない可能性が高いのであれば、脳がどのようにそれを行っているのかを知ることは非常に興味深いと思います。そして、それはAIにも影響を与える可能性があります。しかし、機械学習に影響を与える可能性のある神経科学の他の潜在的なブレークスルーについて何か考えがあるかもしれません。何か考えはありますか？
ジェフリー・ヒントン: まあ、脳が時間を通じてバックプロパゲーションを行っていないことはかなり明らかだと思います。それはとてもありそうにありません。私が知っている脳がバックプロパゲーションを行う方法に関するすべての理論は、複数の皮質領域を通じてバックプロパゲーションを行うためのものです。これらの大規模言語モデル、そしてマルチモーダルなものも、脳よりもはるかに多くの情報を接続ごとに保存していることも明らかです。
今、それは単に彼らがはるかに多くの経験を持っているからかもしれません。そして、私たちがはるかに多くの経験を持てば、より多くの情報を得ることができるかもしれません。しかし、私は今…私は常に脳が何らかの形のバックプロパゲーションを行っていると思っていましたが、今では脳がもっと単純なことをしているのではないかと疑っています。しかし、もしGPT-20に1つの質問に答えてもらえるとしたら、それは脳が何らかの形のバックプロパゲーションを実装しているかどうかです。
トマソ・ポッジオ: これは素晴らしかったです。皆さん、ありがとうございました。
[拍手]
デミス・ハサビス: ありがとうございます。皆さん、ありがとうございました。
コメント