オープンAIでの厳しい一週間を終えたサム・アルトマンは、非常に興味深いインタビューに応じました。このインタビューでは、多くのコメントや質問に答え、オープンAIを取り巻く最近の論争や今後のフロンティアモデルの方向性についての意見を明かしました。サム・アルトマンが最初に話したことの一つは、新しいアーキテクチャに関する微妙なヒントを与えることでした。これが実際にどのようなものになるかは非常に大きな可能性があるため、まだはっきりとは分かりませんが、合成データと新しいアーキテクチャ、またはこれらのAIシステムをよりデータ効率的に訓練する方法を開発しているかもしれません。この点については、情報誌の記事を参照しています。この記事は数ヶ月前、サム・アルトマンがオープンAIから解雇された頃に公開されたものです。この記事では、ザッカーマンの突破口が、オープンAIが新しいモデルを訓練するための高品質なデータを十分に取得する上での制限を克服することを可能にしたと明記されています。
これからインタビューのクリップをお見せします。インタビューで質問者が「新しいモデルをどのように訓練しているのか、単に大量の合成データを生成しているだけなのか」と尋ねた際に、サム・アルトマンが具体的に何をしているかを明かしています。
「高品質なデータが必要です。低品質の合成データや低品質の人間のデータがありますが、モデルを訓練するための十分な品質のデータを見つけるか、データ効率を高めて少量のデータからより多くを学ぶ方法を見つけることができれば、それで十分だと思います。そして、次のモデルのために必要なものは揃っていると感じています。」
ここで彼は、次のモデルを訓練するために必要なものが揃っていると明確に述べています。データ効率の観点から、合成データを使用するか、高品質なデータを取得する方法を見つけるか、何であれ、次のモデルの訓練には十分なものが揃っているようです。最近のトレンドとして、小型モデルがますます優れてきているのは、高品質なデータの重要性が認識されているからです。
クリップは続きます。質問者が「大量の合成データを生成してモデルを訓練しているのか」と尋ねた際に、サム・アルトマンは次のように答えます。
「もちろん、さまざまな方法で大量の合成データを生成して訓練しています。ただ、合成データを大量に生成してそれをモデルにフィードバックするだけで訓練するのは非効率だと感じます。データからもっと学べる方法があるはずです。まだ多くのことを解明しなければなりませんが、もちろん多くの合成データを生成して実験しています。」
ここでの核心は、少ないデータからより多くを学ぶ方法を模索していることです。これは非常に興味深い点で、オープンAIが持っているデータが何であれ、それを最大限に活用してモデルを訓練しようとしていることが分かります。また、昨年11月頃にサスが行った突破口が、次世代モデルの開発における主要な障壁を克服する助けとなったことも明らかです。サム・アルトマンの解雇前に何らかの突破口があったことが示唆されています。
次に、AGI（汎用人工知能）後の経済について話しています。現在の経済モデルは労働に基づいており、人々は労働を対価としてお金を得ています。しかし、AIの進化によって社会契約が変わり、人間の価値が労働に基づかなくなると、社会がどのように変わるかについて考える必要があります。サム・アルトマンは次のように述べています。
「長期的には、我々が期待するこの技術の強力さに応じて、社会契約に何らかの変更が必要になると思います。仕事がなくなるとは思っていませんが、社会全体の構造が何らかの議論や再構築を必要とするでしょう。」
また、UBI（基本所得）やユニバーサル・ベーシック・コンピュートの概念についても触れています。これは、ASI（超知能）が登場した場合、全員に一定の計算リソースが割り当てられ、そのリソースが非常に価値のあるものになるというアイデアです。これにより、各個人がそのリソースをどのように活用するかを決めることができます。
次に、新しいモデルの訓練についての質問に対して、サム・アルトマンは次のように答えます。
「驚異的な改善を期待しているわけではありませんが、全体としては大きな進歩が見られるでしょう。前のモデルと同様に、いくつかの領域では驚くほどの進歩が見られるでしょうが、他の領域ではそれほどではないかもしれません。」
ここで強調しているのは、現在の基準では測定できない進歩がある可能性があるという点です。標準的なベンチマークではなく、より質的な評価が重要になるかもしれません。サム・アルトマンは以前のインタビューで、GPT-4は非常に「愚か」だと述べており、これは次のモデルがどれほど進歩するかを示唆しています。
また、ヘレン・トーナーがサム・アルトマンを解雇した理由についての発言に対して、彼は次のように答えています。
「彼女の出来事の記憶には敬意を持ちながらも非常に大きく異なる意見を持っています。しかし、彼女がAGIの良い結果を望んでいることは認めています。」
最後に、インタープリタビリティ研究について話しています。これはAIが特定の決定を下す際に内部で何が起こっているかを理解しようとする研究です。オープンAIがこの分野での進展を示唆していることを明らかにしています。これにより、安全性を確保するための方法をよりよく理解できると述べています。
「インタープリタビリティを理解することは、安全性を確保するための一部になると考えています。」
インタビュー全体を通して、サム・アルトマンは今後のAI技術の進展やその社会的影響について多くの興味深い見解を示しています。もしこのインタビューについての感想があれば、コメントを残してください。
コメント