17,969 文字
ナタリー・コンのOpenAIフォーラムコミュニティアーキテクトです。まず、OpenAIのミッションを確認させていただきたいと思います。それは、汎用人工知能が人類全体に利益をもたらすことを確実にすることです。今年のスピーカーシリーズの締めくくりとして、私たちの大好きな常連ゲストの一人であるテレンス・タオ教授と、OpenAIの私の素晴らしい同僚であるマーク・チェンとジェームズ・ドノバンをお迎えしています。
テレンス・タオはUCLAの数学教授で、調和解析、偏微分方程式、組み合わせ論、数論を専門としています。2006年にフィールズ賞を受賞するなど、数々の賞を受賞しています。2021年からは大統領科学技術諮問委員会のメンバーも務めています。
マーク・チェンはOpenAIのシニアバイスプレジデント（研究担当）で、言語モデル、強化学習、マルチモーダルモデル、アライメントにおける先進的なAIイニシアチブを監督しています。2018年の入社以来、組織の最も野心的なプロジェクトの形成に重要な役割を果たしてきました。マークは、責任ある研究に重点を置きながら、AI開発が社会に利益をもたらすことを確実にすることに専念しています。
最後に、ジェームズ・ドノバンは科学政策とパートナーシップのグローバル担当として、私たちのモデルを科学研究と商業化の加速にどのように活用できるかに焦点を当てています。彼は、コンバージェント・リサーチのベンチャーキャピタリストであり、パートナーとしてOpenAIに加わり、複雑な数学のための自動定理証明プログラムであるLeanfroなど、複数のムーンショット科学組織の立ち上げを支援してきました。
それでは、特別ゲストの皆様をOpenAIフォーラムにお迎えしたいと思います。
ありがとうございます、ジェームズです。今夜はこのような素晴らしい方々とご一緒できることを光栄に思います。まず、ナタリーとチームの皆さんには、このような機会を設けていただき、いつもスムーズに運営していただいていることに感謝申し上げます。特に私にとっては、お二人とお話できることを光栄に思います。ありがとうございます。
また、これは今年のフォーラムイベントの締めくくりではありますが、いつものように来年のフォーラムの始まりでもあります。来年は、私たちのモデルが科学とどのように交差し、より広い世界のために安全かつ公平に科学を加速させることができるかというテーマに焦点を当てていく予定です。
では、まずテリーから、そしてマークから、それぞれの分野で現在最も興味深い質問は何か、そしてなぜそれらの質問を解決しようとすることが重要なのかについて、お聞かせいただきたいと思います。
はい、技術的な数学の問題で解きたいものはたくさんありますが、この会議により関連する話をすると、私は数学を根本から見直し、これらの新しいツールを使って、これまでにない方法で協力し、これまでにない規模で数学を行うことができるかということに非常に興味があります。これは新しい発見の時代になる可能性があります。
現在、数学者は一度に1つの問題に取り組み、数ヶ月かけて1つの問題を解いてから次の問題に移ります。これらのツールを使えば、潜在的に何百、何千もの問題を一度に調べることができ、本当に異なるタイプの数学を行うことができます。私はその可能性にとてもワクワクしています。
マークはどうですか？
はい、私たちの昨年の大きな焦点の1つは推論でした。GPT-4以降、私たちの焦点は少し変わってきました。GPT-4は、すべての意図と目的において非常にスマートなモデルで、多くの生の知識を含んでいますが、多くの点で愚かでもあります。単純なパズルでつまずいたり、多くの場合、パズルがどのように展開されるべきかについての事前知識に非常に依存しています。
これらは、モデルの深い推論能力の不足を示していました。そこで私たちは、O（オー）シリーズのモデルの開発に焦点を当ててきました。これらは、システム1の思考者というよりもシステム2の思考者に近いモデルです。直感的な素早い反応を与えることが少なく、反応を生成する前に問題について少し考える時間を取ります。
私たちの研究アジェンダの主要な問題をさらに2つ挙げると、データ効率は確かにその1つです。非存在データを含む世界のすべてのデータを取り込む方法について考えています。そして3つ目は、より実践的な問題として、ユーザーにとって直感的で楽しい体験をどのように作り出すかということです。
確かにその最後の問題は、おそらく数学の世界を超えていますが、重要な人間とコンピュータのインターフェースの問題です。テリー、O1モデルについてマークが言及しましたが、その前に、あなたは潜在的な新しいタイプの数学について触れましたね。さまざまな機会に産業規模の数学や、数学における新しい協力の方法について話されていましたが、それについて少し詳しく説明していただけますか？
はい、数学は常に非常に難しい活動として認識されてきました。現在もそうですが、その理由の1つは、複雑な目標を達成するために、1人の人間、あるいは少数の人間が多くの異なるタスクを行わなければならないということです。
数学で進歩を遂げるためには、まず良い質問を考え出し、それを解決するためのツールを見つけ、文献を学び、議論を試み、計算を行い、議論が正しいことを確認し、それを説明できるように書き上げなければなりません。そして、講演を行い、助成金を申請するなど、他にもたくさんのことをしなければなりません。
これらはすべて異なるスキルです。しかし、他の産業では分業があります。映画を作る場合、1人の人が映画を制作し、編集し、出演し、資金を調達するというようなことはしません。異なる役割があります。
しかし、最近まで数学ではこれらのタスクを切り離す方法を見つけることができませんでした。今、このOシリーズがあれば、原則的に、1人がビジョンを持ち、1人または人工知能が計算を行い、別の人が論文を書くというような協力が可能になります。
そのため、すべての側面の専門家である必要はありません。多くの人々が、数学者になるために必要なことのチェックリストを見て、それが非常に気が重くなり、数学から遠ざかってしまいます。
しかし、データを見てパターンを調べることが得意で、そのパターンが存在するかどうかをAIに確認してもらうことができる人もいるかもしれません。あるいは、正しい質問を見つけることは得意ではないけれど、より大きなプロジェクトの非常に狭い特定の部分に取り組むことができる人もいるかもしれません。
これらのツールにより、数学を行う仕事をより分割可能にし、よりモジュール化することができます。いくつかのタスクはAIが、いくつかのタスクは人間が、いくつかのタスクは形式的な証明支援が、いくつかのタスクは一般の人々が行うことができます。
他の分野では市民科学があります。彼らは、彗星を発見するアマチュア天文学者や、蝶を収集するアマチュアの生物学者がいます。しかし、いくつかの非常に小さなプロジェクトを除いて、アマチュア数学者を活用する方法はありませんでした。
したがって、多くの可能性があり、多くのことを試してみて、何が機能するかを見る必要があります。
テリー、1つ質問があります。AI以外で、これまでに1つの数学プロジェクトに協力的に取り組むことができた人間の最大数はどのくらいですか？また、ここに上限はあると思いますか？
実際には、上限は5人か6人程度です。お互いの仕事をチェックしなければならず、また全員を同じ部屋に集めることなども本当に難しいです。
多くの著者がいるプロジェクトはごく少数ありますが、例えば証明の形式化プロジェクトなどです。大きな証明が形式化されることは、すでに数学の中で、クラウドソーシングと分割ができる数少ないタスクの1つです。
なぜなら、GitHubなどで実行され、すべての貢献がLeanなどの形式言語で書かれているため検証されるからです。これらは20人から30人の著者を持つことができます。
Leanには数学ライブラリ（mathlib）があり、学部数学のすべてのライブラリがありますが、正式には研究プロジェクトではありませんが、技術的には数千人、少なくとも数百人の著者がいると思います。
しかし、今のところ、本当に大規模な協力が見られるのは形式数学の分野だけです。
素晴らしいですね。そして、Leanチームへの称賛に同意します。彼らは本当に素晴らしい仕事をしていて、今日のコールにLeanチームのメンバーも数人参加していると思います。
テリー、あなたの説明を聞いていると、デフォルトの前提として、人間がまだタスクを分担し、プロセスについて十分理解して誰が何をするかを決めるということのようですが、私の最初の質問は、したがって数学者には異なる役割、異なる専門性が現れると思いますか？そしてマークにも同じ質問を投げかけたいと思います。それは常に人間になると思いますか、それともO1自体が問題を分解したり、あるいはOシリーズのモデルが問題を分解したりする世界が見えますか？
ソフトウェアエンジニアリングを、数学が向かう可能性のある方向のテンプレートとして見ています。過去には、数学者が今すべてを行うように、1人の英雄的なプログラマーがすべてを行っていましたが、今ではプロジェクトマネージャー、プログラマー、品質保証チームなどがいます。
そのようなことが想像できます。今、私はいくつかのプロジェクトに関わっていますが、それらは理論的な数学の要素と形式的な証明の要素を含み、人々はさまざまなコードアルゴリズムも実行しています。
そして、すでに私が予想していたように専門化が進んでいます。数学は知らないけれど、形式化が非常に得意な人々がいます。彼らにとってはパズルを解くようなものです。
そして、GitHubの運営やプロジェクト管理、バックエンドがスムーズに動くことを確認することが得意な人々がいます。また、データの可視化を行う人々もいます。
私たちは全員が調整を行います。これまでのところ、主に人間と、より古い型のAI、定理証明支援、あるいは単にPythonコードを実行するようなものでした。
しかし、これはAIが十分に良くなれば、非常にうまく適合するパラダイムだと思います。
それは私にも非常に理にかなっています。今日、私はほとんどAIを協力者として扱っています。私が得意ではないことがたくさんあり、それをAIに任せることができます。
私は数学者ではないので推測にすぎませんが、数学の問題を解決するのに役立つAIの強みとして考えられるのは、まずパターンの認識です。機械はこれが非常に得意です。特にデータが多い場合や、調べるべきものが多い場合です。
そして、パターンを識別することから、仮説を立てることができます。私はこれが彼らの独自の強みになる可能性があると思います。
また、証明戦略を考え出すことについて、テリー、これは前回話し合ったことですが、私は今日でも人間の方が次のステップについてより良い直感を持っていると思いますが、特定のステップについて盲点があるかもしれません。
前回、CHY問題を解こうとしていた際に、モデルが生成関数アプローチを提案し、それが実際にその状況ではそれほど悪くないアイデアだったということを言及しましたね。
また、検証についても、正しいと思っているけれど、もう一組の目で確認したいというステップをモデルが検証できるかもしれません。
また、反例の生成についても、定理が偽である可能性のある方法をたくさん考えたい場合、モデルはそれをより効率的に網羅できるかもしれません。
それは非常に理にかなっています。お二人とも答えの中で定理証明と形式化についてより広く言及されましたが、数学を行うことと、LMやそれに相当するテクノロジーを使用することの間の必要な中間層であると考えるのは公平でしょうか？
大きくはそうですね。証明は正しくなければなりません。数学の証明について言えば、証明に100のステップがあり、その1つが間違っていると、証明全体が崩壊する可能性があります。
そしてもちろん、AIは間違いを犯します。パターンを見つけたり、仮説を立てたりするような数学のタイプでは、50%の正解率しかないAIでも、それをチェックする他の方法があれば問題ありません。
特に、議論を出力しようとする場合、AIにLeanのような形式で出力を強制し、コンパイルが成功すれば素晴らしく、失敗すれば、エラーメッセージを送り返して答えを更新するというのは、非常に自然な相乗効果です。
人々はすでにこれを実装しており、学部生の宿題レベルの短い証明であれば、この反復的な技法で行うことができます。
高レベルの数学の質問をして、巨大な証明を出力させるところまではまだ達していません。AlphaProofは3日かけて計算することはできますが、スケールしません。
ポジティブなエラー率が許容される柔らかいものについては、形式的な証明支援は必要ありませんが、1つの間違いが伝播する可能性のある本当に複雑なものについては、基本的に不可欠です。
開発に関して言えば、私たちの歴史の中で様々な時期に、形式化された数学に多かれ少なかれ焦点を当ててきました。
今日、私たちは少し少なくしていますが、それは主に推論を一般的に探求したいからです。私たちは、コンピュータサイエンスの分野で学ぶ推論が、数学のような分野で学ぶ推論とかなり似ているという希望を持っています。
しかし、形式数学を行うことの利点は確かに理解しています。
定理証明、数学、AIのアーキテクチャに戻りたいと思いますが、それが科学の他の領域にも当てはまるかどうかを見てみたいと思います。しかし、その前に1つ質問があります。
トレーニングプロセスにおいても、数学者は全体として間違った解答は公表しないため、間違った解き方がトレーニングモデルに入り込まないということがあると思います。これは科学全般にも当てはまります。
お二人は、これが大きな違いを生むと思いますか？これは、AIとは別に、私たちが推進すべき文化的規範でしょうか？失敗した答えを公表することは？
別個にAIから考えると、それは良いアイデアだと思います。それを奨励することは難しいです。人々は間違いを認めたがりません。
しかし、これは本当にAIのための貴重なトレーニングデータになる可能性があります。私が授業で教えているとき、偶然最も効果的な授業になるのは、証明を準備して授業で提示し、証明が間違っていることに気づいて、リアルタイムで修正しなければならないときです。
クラスは私がさまざまなことを試すのを見ます。この仮説を変えたらどうなるか、この例を試してみようとか。後で、それらが最も価値のある授業だったというフィードバックをもらいました。それは私が間違いを犯したからでした。
これは、YouやAIが基本的にアクセスできないデータだと思います。実際、多くの専門家は、何をしてはいけないかを教えてくれた何十年もの間違いの上に専門知識を築いています。ネガティブスペースです。
より形式的な環境に移行するにつれて、始まりつつあると思います。今は証明が終わった後に形式化していますが、最終的には進行しながら形式化することになるでしょう。
おそらくAIと会話しながら数学について考え、AIは進行しながらステップを形式化しようとします。そしてうまくいかない場合は、バックトラックしなければなりません。
それは自然に、今は持っていないこのようなデータを生成することになるでしょう。
興味深いことに、多くの数学者は定理の美しさについて、そしてすべてが整合し、優雅に表現できる瞬間について語ります。このようなツールを使用することで、そのような認知プロセスを失う可能性はありますか？
そうですね、電卓が普及したときにも似たような状況がありました。手計算をしなくなると数感覚を失うと言われました。
ある程度、これは事実です。50年前、100年前の数学者は、直接計算から数感覚を得ることがはるかに上手だったと思います。しかし、電卓で遊ぶことからも異なる種類の数感覚を得ることができます。
したがって、異なるタイプの美の基準ができると思います。コンピュータが生成した証明の中にも、異なる方法で本当に優雅で素晴らしいものがあると思います。
しかし、AIのパラダイムが数十年の間に完全に支配的になることはないと思います。数学者は変化に少し遅いですから、今でも黒板とチョークを使っています。
したがって、本当に素晴らしい証明を作る人々はいるでしょう。将来的には、AIが生成した数学を取り、それをより人間らしいものに変換する数学者の一群が出てくると思います。それはよくあることになるでしょう。
マーク、テリーのような答えを聞いたとき、推論の質を高めることだけでなく、人間がどのように出力と協力できるか、その方程式のその側面についても多くの考えを巡らせますか？
はい、強化学習について考えるとき、モデルにインセンティブを与え、モデルに間違いから学ばせることも考えています。それは私に強く共鳴しました。
そして、それが堅牢で強力な推論スキルを開発する方法だと思います。正確な推論の例をたくさん見せられるだけでは実際には十分ではありません。なぜなら、数学的推論にはとても多くのネガティブスペースがあるからです。
モデルはより役立つようになると思います。私はこれについてかなり楽観的です。影響という点では、人々が美的感覚や直感を失うというわけではなく、むしろ新しい抽象化の層が発展し、新しい抽象化と直感がそこから生まれるということは興味深いと思います。
それは興味深く、かなり起こりそうなことのように思えます。特に、それが比較的早く起こる場合はなおさらです。
それは本当に興味深い流れですね。私自身の生物学の世界では、これらのモデルは、そうでなければ無関係に見えるものの間にパターンを見つけ、物事の間に多くの根本的な統一性を見出すだろうという前提があります。
しかし、それは多くの手つかずの果実があり、私たちがまだ気付いていないという考えに基づいています。一方で、数学や物理学の一部のような分野では、その活動の方法における洗練が重要で、それは根本的に異なる可能性があると感じています。
テリーとマーク、これが数学教育や、特にフロンティアの数学研究を行う人々のサポートにどのような影響を与えると思いますか？
はい、もちろん学生たちはすでに大規模言語モデルを使って宿題を手伝ってもらっていますが、トピックについて別の視点を得るためにも使っています。
教育者も、実際にこれらの大規模言語モデルを教育にどのように統合するかを考えています。
例えば、最近よく行われているのは、数学の問題や他の分野の問題を提示し、GPTの答えを示して、この答えは間違っているので批評してくださいとか、AIと会話をして、実際に答えを修正するように教えるといったことです。
実際に、あるクラスではグループプロジェクトを作り、教師がクラスの練習用の期末試験を配布し、プロンプトエンジニアリングとデータ分析を使って、期末試験を解くためのAIの訓練方法を最も効率的に見つけ出すように指示しました。
彼らは1つのグループにプロンプトを担当させ、1つのグループにベンチマークを担当させるなどしました。申し訳ありません、ライトが消えてしまいました。
でも、例えば、合成試験を生成するためにデータを生成する必要があったので、実際にクラスの教材を深く理解し、これらのAIツールの使い方を学ぶ良い機会にもなりました。私たちは、これらを組み合わせる革新的な方法を見つけていくでしょう。
マーク、人々はAIに過度に依存することで、スキルが低下したり、洞察力が失われたりすることを懸念していますが、これについてテリーの意見を聞きたいと思います。
そうですね、スキルの移行があると思います。いくつかのスキルはあまり使わなくなりますが、他のスキルをより多く開発することになるでしょう。
チェスの例があります。チェスは今や基本的に解決された問題ですが、人々はまだかなりチェスをプレイしています。しかし、彼らがチェスの練習をする方法は今では全く異なります。
彼らは異なる手を試し、チェスエンジンにこれは良い手かどうかを尋ねます。例えば、チェス理論は今盛んです。チェスボードのどの部分を支配するのが良いかなどについての何世紀も前からの格言が、人間がチェスエンジンにさまざまな質問をすることで、実際に再評価されています。
これは、標準的な多くのゲームをプレイし、多くの教科書を読むという方法とは異なる、チェスについての直感を得る方法です。
そうですね、トレードオフがありますが、ポジティブだと思います。
人々がO1が出てきたことにどのように適応すべきかと聞かれたとき、私は、特定の科目の勉強を突然やめる必要はないと思います。
むしろ、AIを受け入れ、それがどのように効率を高めることができるかを見るべきだと思います。数学に特化して言えば、退屈な計算の多くを手伝ってくれる可能性があります。
すでに深く理解している定型的なことで、モデルに代数的な操作を実行させることができます。主題についての非常に深い理解にはまだ多くのアルファがあると思います。
今日の機械学習でも、最大の変化をもたらしている人々は、数学やシステムを非常に深く理解している人々です。そして、それは大きなレバレッジであり続けると思います。
また、抽象化に焦点を当てることも重要です。人間には数学の核心に結びついた特別な美的感覚があると思います。
他の人間がその美的感覚を判断するため、モデルは問題を定義し、趣味を持つことに関して、それをエミュレートするのが難しいかもしれません。
そしてもちろん、数学は良いスキルです。非常に転用可能で、堅牢な推論を教えてくれます。数学者は一般的に非常に適応力があると思います。だから、数学に大きく投資しない理由はまったくありません。
マーク、数学の美的感覚について話すとき、これは興味深い点です。人間として私たちが現実を経験する方法と、私たちが数学を認識する方法は何らかの形で結びついている可能性があり、モデルが非常に洗練された数学を行うようになると、人間が検証したり、私たちの文脈で理解したりする能力を超える可能性があるのではないでしょうか。
お二人は、これを近い将来の可能性として見ていますか？もしそうだとしたら、それにどのように対応しますか？
実際、それはすでに現実です。数学は時々、誰一人として完全には理解できない巨大な証明を生み出すことがあります。私たちはすでに多くのコンピュータ支援を使用しています。巨大なSATソルバーの計算や大規模な数値モデリングなどのために、テラバイト単位の証明証明書が必要な証明もあります。
また、文献の中の何百もの論文の上に築かれた証明もあり、これらの以前の結果をブラックボックスとして扱い、誰一人としてすべてを理解していません。
そのため、私たちはある程度これに慣れています。数学には抽象化の言語があり、複雑な証明を分割することができます。1つの部分を理解し、他の部分をコンピュータや人間が理解していることを信頼すれば、すべてがうまくいきます。
これは続いていくでしょう。AIが生成し、願わくは形式的に検証された部分を含む、大きく複雑な議論を持つことになるでしょう。これは既に起こっている傾向の加速に過ぎず、本当の段階的な変化とは見ていません。
はい、その通りです。私が心配しているのは、エラーが発生し、他の人々がその結果の上に構築を続けてしまう可能性があることです。特に、コンピュータが生成した新しい洞察の量が増加した場合、間違った数学の上に構築してしまう可能性があります。
OpenAIで私たちが非常に心配している一般的な問題の1つは、スケーラブルな監視の問題です。モデルが多くの時間を費やして考え、何か根本的な洞察に到達したとき、モデルが間違いを犯さなかったことをどのように知り、どのように信頼できるのでしょうか。
これは、数年前には理論的に思えた問題でしたが、今日では、モデルは非常に難しい問題を解決する能力を持っており、その問題が正しい答えに到達したことをどのように検証し、信頼するかという非常に現実的な問題となっています。
しかし、数学は私たちにチャンスがある唯一の場所です。なぜなら、自動化された方法で行うことができる形式的な検証があるからです。
その通りですね。そして、その進歩が最終的に物理学、化学などのすべての他の科学分野での進歩を解き放つことを期待したいですね。
テリー、今日この部屋には数学で実践的に働いている人々が多くいます。学生やその他の人々のために、いくつかの非常に実践的な質問があります。
AIやAI関連ツールを使用する際の段階的な変化ではありませんが、実践的な数学には文化的な要素があり、それが変化する可能性があります。その独特の要素の1つは数学のコンペティションです。最近、あなたはまさにそのテーマでブリストルにいましたね。
LMsに対応するために数学のエコシステムが変化すると思いますか？もしそうなら、どのように？
変化するでしょう。正確にどのように変化するかを予測するのは難しいですが。今は人気のない新しいタイプの数学が出てくると思います。なぜなら、技術的に実行不可能だからです。
特に実験数学は非常に小さな部分で、95%が理論的です。これは全ての科学の中で異常です。科学では通常、実験と理論の間にバランスがあります。
しかし、実験は難しいです。本当にプログラミングが得意でなければなりません。また、タスクは数学者がプログラムできるスキルの範囲内の通常のソフトウェアで自動化できるほど単純でなければなりません。
しかし、AIを使えばより洗練された探索が可能になります。従来なら1つの微分方程式を研究するところを、AIに「この微分方程式の分析があります。このリストにある次の500個の方程式について同じ分析を繰り返してください」と頼むことができます。
これは現在の従来のツールでは自動化できないことです。なぜなら、ソフトウェアがある程度の理解を必要とするからです。
したがって、数学のタイプは変化すると思います。すでにより協力的になる傾向があり、それはAIによってさらに加速するでしょう。
しかし、少なくとも今後10年か20年は、私たちはまだ論文を書き、査読を行い、教育を行うなどを続けると思います。大きな変化はないと思います。私たちの仕事でAIをより多く使用するようになるでしょう。ちょうど、他の方法でコンピュータの支援をますます使用しているように。
はい、コンペティションについて言えば、プログラミングコンペティションについて話せますが、根本的には大きく変わらないと思います。私の知る限り、それを行う多くの人々にとって、それは本当に楽しいものです。得られる技術的なスキル以上のものがあります。
カンニングが問題になるでしょう。それが1つの問題ですね。
はい、それはまた非常に深い問題です。モデルが非常に難しい問題を解決できる場合、どのように面接を行うかということです。
しかし、コンテストを行う大きな理由の1つは単に楽しいからだと思います。チェスとの類推が良いですね。
カンニングは確かに1つの要素ですが、おそらくより意図的でない、またはルールを破ろうとしない要素は、帰属の問題かもしれません。
LMsによって大部分の形式化が行われたり、組み合わせ的なアプローチによってLMsから新しいアイデアが生まれたりする世界では、何が起こるのでしょうか。お二人は、ブレークスルーを直接LMsに帰属させる世界を想像できますか？そしてそれは何を意味するのでしょうか？
これは私たちが直面しなければならない大きな問題になると思います。すでに、科学では1人の主要な著者と多くの二次的な著者がいるような論文の著者モデルがあります。
数学者は、まだそうしていません。まだアルファベット順で並べており、誰が何をしたのかという問題を大きく無視してきました。全員が平等に貢献したと言うだけです。
将来の論文では、帰属についてより正確になる必要があると思います。科学では、すでに著者の貢献について、誰が何をしたのかを書くセクションがある傾向があります。
GitHubがある場合は、GitHubのコミットを見ることもでき、これもデータを提供します。そして、おそらくそのデータを自動的に検査し、誰が何をしたのかをまとめる方法があるでしょう。
コミットの半分がAIによって行われた場合など、AIを共著者に昇格させるのか、少なくとも謝辞に入れるのかという問題があります。
まだこれについての規範はありません。いくつかのテストケースと論争があり、最終的にみんなにとってうまく機能する何かを見つけ出すでしょうが、私にはその答えはありません。
また、全く同じ問題ではありませんが、アクセスの問題もあると思います。モデルが証明の大部分を貢献するようになった場合、計算能力により多くのアクセスを持つ人々、つまり数学を行う上で有利な立場にいる人々はいるのでしょうか。
確かに考えなければならないことですが、まだその考えの道筋をどのように追っていいのかわかりません。確かに難しい問題です。
興味深い展開になりそうですね。世界のクリエイティブな側面では、すでに帰属と所有権に関する質問が出てきていますが、それが科学にますます関わってくると、知的財産やR&Dサイクルをどのように考えるかについて興味深いことになるでしょう。
そのような応用数学や科学全般のトピックについて、数学者ではない人々のために。私たちは数学の行為が変化することとその重要性について多く話してきました。
それを達成する仕組みを無視すれば、基礎数学が意味のある形で加速される場所に到達した場合、世界で何が起こると予想しますか？それは社会の残りの部分に何を解き放つのでしょうか？
数学への市民参加を増やすことができると思います。例えば、地球が丸いかどうかについて人々が議論することは驚くべきことですが、まだ議論が続いています。
AIがあれば、実際にモデルを構築し始め、「では、この空はどのように見えるだろう」などと言うことができます。現在は、物事がどのように変化するかを理解するためにかなりの数学が必要です。
しかし、これらのモデリングツールを使えば、実際に視覚化ツールを作成でき、この宇宙の理論がどのように見えるかを見ることができます。
つまり、何かを行うために必要な純粋な技術的スキルのために、現在は除外されている多くの人々を数学に結びつけることができると思います。
数学を上手に行うことは、他の応用科学的なアプリケーションでAIを使用するための前提条件だと思いますか？エンジニアリングや物理学を加速するための前提条件でしょうか？マークにも、それが必要な第一歩だと考えているかどうかを尋ねたいと思います。
そうですね、科学の多くはすでに数学をベースにしています。数学を理解していないと、正確にモデル化することはできません。そして、確かにバックエンドでは、AIを訓練するためにたくさんの数学が必要です。
しかし、生物学者など、統計研究を実行するためにAIに頼み、パラメータの細かい詳細を知る必要がない世界になる可能性もあります。AIが十分に信頼できれば、すべての数学をあなたのために行うことができます。
つまり、科学を行うために数学をオプションにすることができます。現在はそうではありません。両方の方向に進む可能性があります。
私は、加速された数学の進歩とその意味について、テリーを最も信頼しています。研究者として、また多くの研究者を代表して、私たちのモデルの最も興奮する応用は、科学を加速するために使用される場合です。
本当に、専門家が日常生活で使用できる非常に汎用的なツールを提供しようとしています。他の科学分野でも、材料科学や医療の人々がすでに推論モデルを使用し、「これはほとんど、タスクを与えることができる学部生のようで、特定の状況についてかなり一貫性のある分析を提供してくれる」というような証言をしています。
あるいは、テリーが言ったように、多くの人々が「ここにシナリオがあります。計算をして、このシナリオの意味は何でしょうか」と言うでしょう。人々はそのような状況で効果的だと感じています。
その通りです。私の考えが向かっているのは、非常に少数の人々しか与えられた答えが正しいかどうかを検証できない世界に急速に到達するということです。
おそらく、定理証明の構造と、ますます洗練されたLMを数学で使用することが、その問題のスケーラブルな検証ソリューションを得る唯一の方法かもしれません。
ある意味で、私たちは常に数学を頂点に持ち、他のすべてはそこから派生するということです。
それが潜在的な未来であり、私たちが話してきた他のテーマを考えると、テリー、若い数学者たちに、どこに焦点を当て、どのような質問に取り組むべきかについてアドバイスはありますか？
はい、主なアドバイスは柔軟であることです。数学はよりテクノロジーを取り入れ、より協力的になっています。
おそらく50年前は、数学の1つのサブサブ分野に特化し、他の数学者とほとんど交流せずに生計を立てることができました。しかし、それは基本的にもはや実行可能ではありません。
数学は、より大きなエコシステムの一部です。それは健全なことです。AIにより、以前は可能だと考えられていなかったはるかに広い協力が可能になります。
本当に専門知識を持っていない分野の科学者と協力することができます。AIが基本レベルで追いつくのを手伝い、科学者間の普遍的な翻訳者として機能することができます。
だから、オープンマインドであり、これらのツールには限界もあることを認識してください。ツールを盲目的に使用することはできません。AIを監督できるように、自分の人間のスキルを磨く必要があります。魔法の杖ではありません。
はい、私たちOpenAIでさえ、かなりの専門知識と監督なしにそれを使用することを奨励することはないでしょう。
マークにも同様の質問をしますが、少し変えて、あなたが見ている軌道に基づいて、これらのモデルを時間とともに最大限活用できるようにするために、学生たちが今どのようなスキルを身につけることをお勧めしますか？
はい、正直に言って、技術分野では、まだツールとうまく相乗効果を発揮できる技術専門家が必要です。柔軟性を保つという一般的なアドバイスが気に入っています。
AIの研究を少し共有すると、さまざまな分野の人々が、ニューラルネットがどのように機能し、どのように訓練され、どのような動的性質があるのか、そしてその限界は何かといった基本を理解することが非常に役立つと思います。
人々がそれで遊び、それがどのように自分を加速できるかを理解すれば理解するほど、より効果的になると思います。数年後には、誰もの効率に乗数効果があると思います。
その乗数は、願わくば1よりもかなり大きくなるでしょうが、AIツールを効果的に活用する人々は、それを理解していない人々よりも概して効果的になると思います。
それは確かに共感できます。私は、主要な質問が、それらが有用かどうかではなく、その進化の速度になっているのではないかと思います。
テリー、あなたは内部にいて、これらのモデルが異なる時点でどのように改善されているかを見てきました。最近、IMOやシルバーレベルでのパフォーマンスについて聞いていますが、それを実現するためにある程度の調整が行われたことを認めつつ、進歩の速度に驚かされましたか？
はい、私の期待を超えると同時に下回ってもいます。似たようなタスクのデータを生成できるタスクについては、例えばIMOの件では、DeepMindは多くの合成証明、実際には失敗した合成証明を生成しました。それが秘密の一部でした。
数年は不可能だと思っていた多くのタスクが今や可能になっています。一方で、データの範囲を超えて、世界で10人程度しかその問題について真剣に考えたことがないような研究レベルの問題に入るたびに、AIツールはまだそれほど有用ではありません。
私は現在も進行中のプロジェクトを持っていて、1つの大きな問題を証明する代わりに、2000万の小さな数学的な問題を証明しようとしています。これはAIに理想的なタスクだと思いましたが、このプロジェクトが研究したすべての問題のうち、おそらく99%は従来の計算的なブルートフォース法で処理でき、1%が非常に難しく、かなりの人間の介入が必要でした。
試されたAIツールは、比較的簡単な問題である99%の多くを回復することはできましたが、本当に挑戦的な問題の核心部分には本当に貢献しませんでした。それは今日の技術の状態の性質かもしれません。
いくつかのブレークスルーが必要だと思います。これらの研究レベルの問題を自律的に解決するようになるまでには。
私の心の中にある1つの逸話がこの「印象的であると同時に改善の余地がある」という角度を物語っていると思います。今年、私たちはO1モデルでEEに参加しましたが、一方では問題あたり10,000のサンプルが必要で、それは多く感じますが、同時に、それがそもそもできること自体が信じられないことです。
これらの中には非常にアンチパターンスタイルの問題があり、どこかにその能力があるということです。私はその能力を引き出すことにとてもワクワクしています。
パズルを再構築したような感じで、ある意味チートをしたように感じて知的には少し満足できないと感じることは面白いですね。しかし、私は視点を広げて、科学の進歩の多くがそのような小さなことの積み重ねであり、それが最終的にとても賢く見えるパラダイムシフトを生み出すのだろうかと考えます。
プログラミングの喜びはまさにそれです。問題を解決できるように再定義し、最初から原理原則に従って作業を進めることです。しかし、これは私にとって疑問を投げかけます。
おそらく私たちが話しているのは、モデルに特定の方法で推論することを教えており、その推論のカテゴリーがある種の問題にはうまく機能するということです。
マークから始めて、そしてテリーに、1つのモデルが同時にたくさんの異なるタイプの推論を行う世界を想像しているのか、それとも異なるタイプの推論を行う個々のモデルが集まってくる世界になるのかということについて、お聞きしたいと思います。
そして、テリーにとって、現在彼らが苦労している、より困難な質問の小さなサブセットでAIを使用できるようにするために、どのような種類の推論を見る必要があると思いますか？
私は、さまざまな領域で推論できる1つのモデルには美しさがあると思います。多くの複雑なシステムを接続しようとすると、多くの設計上の選択をすることになり、シンプルさは本当にAI開発の重要な原則の1つだと思います。
もちろん、特定の方法で協力するAIのシステムを設定することもできます。それも非常にエキサイティングです。例えば、あなたはここの専門家で、このプロジェクトのプロジェクトマネージャーで、あなたは証明を書く人で、10,000のケースをチェックする人、というようなモデルを構築できるでしょうか。
それも探求すべき興味深いパラダイムだと思います。
そうですね、私はAIの問題解決を非常に補完的な方法、非常にデータ駆動的な問題解決の方法だと見ています。あなたが言ったように、特定のタスクについては、実際に人間よりもはるかに優れています。
私たちが学んでいるのは、実際には特定のタスクの難しさに対する認識を再調整する必要があるということです。なぜなら、私たちは特定のクラスの問題を解決するためにデータ駆動のアプローチを使用することを試みなかったからです。
しかし、いくつかの問題は本質的に難しく、数学には決定不可能な問題さえあります。どれだけのデータでも特定の問題を解決することはできないことを証明することができます。
しかし、これは本当にAIの強みではありません。AIに人間のように数学の問題を解決させたい場合、データの少ない環境で推論する必要があります。
新しい数学的オブジェクトを研究していて、それについて5つか6つの事実、少数の例を知っているような場合です。おそらく、すでにある他の数学的オブジェクトとの非常に漠然とした類推があり、非常に少量のデータから次に何をすべきかを推測しなければなりません。
これはAIが得意としないことで、おそらく完全に間違ったアプローチです。つまり、AIにそれをさせようとすることは、タスクを達成するための間違ったツールを使用するようなものです。
これは人間が本当に得意で効率的なことです。すべてのブルートフォースチェックとケース分析、パターンを見つけて合成することは、そうではありません。
知性を一次元のスケールとして考え、AIと人間のどちらが優れているかを考えることは間違いかもしれません。それらは本当に補完的なものとして考えるべきです。
私たちの研究プログラムが成功すれば、非常にデータ効率の良い推論者も持つことを期待しています。テリー、あなたが間違っていることを証明できることを願っています。
マークの目に輝きを見たように、そこに飛び込みたがっているのが見えました。
間違っていることが証明されることを願っています。
時間が迫ってきましたので、これを締めくくりとして、すべてをまとめる方法として、お二人とも明日、大学の副学長に任命され、意味のある予算を与えられたとしたら、テリーの場合は効果的な数学部門を、マークの場合はより広い科学部門を設立するために、これらの新しいテクノロジーを活用するために、どのようなインフラに投資しますか？
それは良い質問です。自分でチューニングできるローカルモデルを実行するための集中的なコンピュータリソースを持つことを想像できます。
少し難しいのは、技術が非常に速く変化しているため、今特定のハードウェアやソフトウェアに投資しても、数年後にはそれほど重要ではないかもしれないということです。
確かに、異なる分野の多くの人々を集め、これらのテクノロジーを一緒に使用する方法を見つけ出す場所は必要です。私たちはすでにこのようなテクハブ型のものを多く開発しています。
しかし、技術が非常に予測不可能なため、非常に自由な形式である必要があると思います。ただし、異なる部門が互いに話し合い、相乗効果を見出す必要があります。
定理証明や数学ライブラリなどの構築ブロックについて、そのような余地はありますか？
はい、現在すでにボランティアのクラウドソースの取り組みがあります。米国の連邦資金提供機関がちょうどこの種のものに少し資金を提供し始めています。
大学は一般的に、この種の基本的なインフラ作業は行っていません。それは政府が主導的な役割を果たさなければならない役割かもしれません。
マークはどうですか？
はい、非常に短い答えですが、OpenAIがやっている方法が正しいと思います。非常に大きなコンピュータを作り、そのコンピュータをどのように知能に変えるかを理解しようとしています。
それはOpenAIらしい答えで、サムも誇りに思うでしょう。
みなさん、今日は時間を割いていただき、ありがとうございました。これからQ&Aに移りますので、お二人により難しい質問がある方は、その機会があります。
特にテリー、参加していただき、この会話の時間を割いていただき、ありがとうございます。それでは、ナタリーにお返しします。
コメント