7,527 文字
DeepSeek R1がまた新たな段階に到達しました。完全に自律的な方法で実行速度を2倍にすることに成功したのです。私たちは正式に自己改善型AIの時代に入ったことをお知らせします。
みなさん、こんにちは。これはまさに知能爆発の前触れです。このグラフを覚えていますか？何度もお見せして、このコンセプトについても何度もお話ししてきました。状況認識に関する有名な論文です。
AIが博士レベルの知能に達し、本当に新しい知識を生み出せるようになった時、それが再帰的自己改善の始まりとなり、そこから知能爆発が起こります。そして私たちは今まさにその段階にいるのです。O1モデル、O3モデル、DeepSeek R1、これらは博士レベルの知能を持つモデルであり、今や再帰的に自己改善を始めています。
この2週間で起きたことは本当に驚くべきことです。そしてそれだけでは足りないかのように、この動画の最後にお見せする2つ目の驚くべき発見は、別のチームがユーレカの瞬間、つまりアハ体験を再現することに成功し、実質的にDeepSeekを3ドルで再現したということです。数日前、バークレーのチームが30ドルでこの学習の瞬間をコピーして再現することに成功したという話をしましたが、今や10分の1、3ドルでこのDeepSeek R1モデルの重要な学習の瞬間を再現できるようになりました。
バークレーの動画についてある購読者が冗談を言っていて、みんなで笑ったのですが、実は彼は間違っていませんでした。1週間も経たないうちに3ドルのモデルが登場し、彼が言うように、1週間後には3セントになっているかもしれません。これについては動画の最後で見ていきましょう。
今日は、この2つの驚くべき進展についてお見せします。何ヶ月も何ヶ月も進展についてお話ししているように聞こえるかもしれませんが、実はDeepSeekが登場してからわずか2、3週間なのです。たくさんのことが起きすぎています。
まずは、DeepSeek R1が速度を2倍に改善することにどのように成功したのかを見ていきましょう。Simon Wilsonのブログでは、まさにこの速度が2倍になった改善について話しています。以前の動画で簡単に触れましたが、実際に起きたことを詳しく分析してみると、予想以上に重要なことだったのです。どの動画だったか覚えていませんが、ちょっと触れただけでしたので、改めて取り上げてよかったと思います。なぜなら、実際に起きたことは完全に常識を超えているからです。
詳細に入って、この投稿を読み解いていきますが、その前に、もし私のことをご存じない方がいらっしゃれば、このチャンネルではAIからロボット工学、医療まで、あらゆる分野の科学技術ニュースを毎日お届けしています。他では聞けない最新情報を知りたい方は、チャンネル登録をして支援していただければと思います。
ここで興味深いのは、このプルリクエスト、つまりコード作成リクエストの99%がDeepSeek R1自身によって書かれたということです。基本的に、ここにあるコードはすべてAI自身によって書かれました。これを実現した人は、モデルにプロンプトを作成するだけでよかったのです。モデルは自分自身を改善する方法を見つけ出しました。彼がしなければならなかったのは、テストを開発し、試行錯誤しながらプロンプトを書くことだけでした。
実際、彼は自分とDeepSeekとのやり取りの全体を共有しています。「これは私がLLMプラグインを書き直すのに使用した最近のトランスクリプトです」と彼は言っています。これらはすべてプログラミングの専門用語ですが、繰り返しになりますが、このコードはすべてDeepSeek R1が書いたものです。
彼は続けて「O1でも同じことを試しましたが、DeepSeek R1の方がうまくいったと思います」と述べています。これらのプロンプトのいくつかを手短に見せましょう。これが起きたことの本質です。技術的な詳細には深入りせず、むしろ全体的な視点から興味深い点を見ていきたいと思いますが、このプレリュードは重要だと考えています。
この人によると、各応答に3〜5分かかっていたそうです。今日ChatGPTを使って質問すると、考えている様子は見えますが、あまり時間をかけません。おそらく最大でも20〜30秒程度です。今、5〜10分、あるいは30分かけてプロンプトを実行できる可能性を想像してみてください。結果はずっと正確になるでしょう。
ちなみに、これはDeep Searchが現在行っていることです。OpenAIは30分から1時間かけて各応答を考える超AIを発表しました。これについてまだご覧になっていない方は、Deep Searchに関する最新の動画をご覧ください。
さて、この人がDeepSeekで使用した反復的なループがこちらです。基本的に問題の説明、つまり彼が達成したいことが示されています。そして、これが失敗した最後の試みです。枠組みが設定されたところで、AIへの最初のプロンプト、最初の要求がこちらです。
彼はAIに次のように言いました：「あなたの課題は、このC++ ARM NEONの SIMDコードをWASM SIMDに変換することです」。基本的に、これはARMチップのアーキテクチャで並列処理がどのように機能するかを改善するものです。詳細には立ち入りませんが、参考までに説明しました。基本的に、ここに示されている既存のコードの山、本当に高度なコードを与えることになります。
それから彼は別の指示を与え、「これが変換すべき関数です」と言います。つまり、これはモデルを加速させるためのタスクを可能にする関数です。そして小さなヒントとして「コードをこれで始めなければなりません」と。その後、彼は別のプロンプト、2番目のプロンプトを与えましたが、技術的な部分は省略しましょう。
なぜこれをお見せしているのかというと、これらのプロンプトによって、モデルは自身をより速く実行するための最適化を探すことができたのです。これは印象的です。コードを書いた後で自己改善した機械を見ることができ、今や2倍速くなっています。
素晴らしいのは、ここでAIの思考プロセスも見ることができることです。「Mistralと同じモデルを実装しなければならない」などと考え、最終的にコードが完成し、それが機能しているのです。
今、自律的に動作する100や1000のこうしたエージェントが、常に自己改善や相互改善の方法を探している状況を想像してみてください。これが誰もが話している急激な離陸点でなければ、私には何なのかわかりません。動画の冒頭で知能爆発について話したのを思い出してください。実際、数千のAIエージェントが相互に自己改善を始める時点から、彼らが何を達成できるかはわかりません。
それは非常に、非常に、非常に急速に起こる可能性があります。2倍、3倍、4倍、5倍、10倍、20倍、100倍と改善される可能性があり、AIが本当に常に自己改善できるようになった日に何が起こるかは、現時点では誰にもわかりません。潜在的には、中間段階なしに直接AGIからASIへ移行する可能性もあるのです。誰にもわかりません。それは未来が教えてくれることでしょう。私は少なくとも、すべてをカバーし、皆さんに情報を提供し続けます。まだの方は、ぜひチャンネル登録をお願いします。
状況認識のこのグラフに戻って、別のことをお見せしたいと思います。これはGPT-4で、優秀な高校生レベルに相当します。しかし、実際には現在、O1、O3、まもなく登場するミニO3でさらに先に進んでいます。そして、Deep Searchについては何と言えばいいでしょうか。新しい知識の発見、特に合成の面で、多くの博士を凌駕しています。
Deep Searchは非常に新しく、2日前に発表されたばかりなので、その正確な潜在能力を評価するには十分な時間がありませんが、もし発表されている通りのことができるのであれば、100%AIによる発見を見るまでそれほど待つ必要はないでしょう。来週、あるいは2週間後かもしれません。誰にもわかりません。
繰り返しになりますが、AIによる研究を自動化する能力を手に入れたら、そこで超知能に到達することになります。そして正直なところ、私たちはその寸前にいるように感じます。少なくとも私にはそう感じられます。
うまく説明できないのですが、私はすでにかなり長い間AIの進展を追ってきており、さらに長い期間AIの分野に携わってきました。しかし、正直なところ、2025年1月1日、つまり今年の年始から今日まで、それは止まることのない進展でした。すべてが加速し、特にDeepSeekの登場以降はそうです。
ご存知の通り、私はここですべての視点を提供し、皆さんに自分の意見を形成していただくことを好んでいます。これが私の視点でしたが、2つの学派があります。AIの最も偉大な専門家の中には、この離陸は一日にして起こるような瞬間的なものではなく、むしろ段階的なものになるだろうと言う人もいます。
しかし同時に、私が先ほどお見せしたこのグラフと、最近起こったすべてのことを見ると、本当に急激な離陸が起こるような二進法的なポイントを見ることになりそうです。
こちらはYann LeCunです。チャンネルをフォローしている方なら皆さんご存知だと思います。彼はAIの創始者の一人で、フランス人です。現在はMeta（以前のInstagram、Facebook、WhatsAppなどのグループ）でAIの研究ディレクターを務めています。彼は次のように述べています：「AGIの出現は、あなたがどのように定義するにせよ、一つの出来事ではなく、段階的なものになるでしょう」
では、シナリオ1とシナリオ2のどちらになると思いますか？知能爆発になるのか、それとも穏やかな離陸になるのでしょうか？
彼はまた次のようにも述べています：「一度どこかで出現すれば、比較的短時間で多くの人々によって再現されるでしょう。もしAIとすべてのイノベーションがOpenAIのような閉鎖的な企業の壁の中にあれば、おそらくこのようなことは起こらないでしょう。しかし、オープンソースによって、誰もがそこに到達する能力が加速されるのです」
だからこそ、私は繰り返し言ってきましたが、DeepSeek R1の登場がAI業界でとても重要だったのです。その登場以来、それが可能にしたすべてのことは本当に膨大です。オープンソースを3〜6ヶ月ほど前進させ、OpenAIのような閉鎖的な企業にスケジュールを加速させ、彼らの研究室にあるものすべてを私たちに提供することを強制したのです。
Sam Altmanに関する最新の動画、彼がRedditで行った質疑応答セッションについて思い出してください。DeepSeekモデルについて話す中で、彼は次のように述べました：「これは非常に優れたモデルです。私たちはより良いモデルを作り出すでしょうが、過去数年に比べて優位性は小さくなるでしょう」
さて、今や私たちには自己改善するAIがあり、数日前には、バークレーの大学院生たちが非常に具体的なユースケースに同じ技術を適用することで、わずか30ドルでDeepSeekの思考能力を再現することに成功したという話をしました。
しかし、しっかりと座っていてください。ある購読者が冗談を言っていましたが、それが現実になりました。今や別のチームが、ユーレカの瞬間、アハ体験、つまりDeepSeekの再現をわずか3ドルで成功させた例があります。それも1週間経たないうちにです。これが急激な加速でなければ、私には何なのかわかりません。
LangChainの投稿をご覧ください：「R1vの紹介を嬉しく思います」。実際、これはバークレーの大学院生やDeepSeek R1と全く同じ技術を使用しています。皆さんもすでにご存じだと思いますが、検証可能な報酬による強化学習を使用して、ここでは数を数える一般的な能力をモデルに学習させています。
これが鍵となる強化学習と報酬です。問題に対する既知の答えがある、つまり報酬関数がよく定義されている場合、信じられないほどうまく機能します。例えば、「2+2=4」は明確に定義された問題です。しかし、「あなたの好きな色は何ですか？」という質問には定義された答えがありません。それは単なる意見です。一方では強化学習を使用でき、もう一方では使用できないのです。
これが、この技術がSTEM（科学、技術、工学、数学）のタスクでこれほどうまく機能する理由です。明確に定義された入力と出力を持つこれらのカテゴリーのタスクがある場合、質問と答えがある場合、このようなモデルは実際に優れた性能を発揮します。
だからこそ、私はよく「詩を書きたい場合はO3を使わないでください。意味がありません。代わりに通常のChatGPTやClaudeを使用してください。Claudeはそのような創造的なタスクに非常に適しています」と言うのです。
ちなみに、これらすべてのことと、さらに多くのことを私のトレーニングコースでお教えしています。あなたの生活で非常に具体的に役立つAIツールの使い方を教えています。また、私がいつも言うように、人類が今まで発明した最も重要な技術である、この技術の最新情報を把握したい場合にも役立ちます。
もしご興味があれば、動画の下のピン留めされたコメントにすべてのリンクがあります。
つまり、モデルが正しいときと間違っているときを知るように訓練すると、この思考の創発的な振る舞い、このユーレカの瞬間が得られるのです。そして、ここで示されているような非常に具体的なユースケースでは、非常に小さなモデルでも、今やわずか数ドルでそれを実現できます。
しかも、これは完全にオープンソースです。20億パラメータのモデルが、わずか100回の訓練ステップで、720億パラメータのモデルを上回る性能を発揮しています。これはわずか3ドル未満で実現できます。前例のないことです。これは加速しています。以前は720億パラメータのAIモデルを作るのは非常に高額でしたが、今や3ドルで20億パラメータのモデルを訓練でき、それが720億パラメータの大規模モデルよりも優れた性能を発揮します。
1週間で進歩の速度がこれほど変化したことは、私には非常に驚くべきことに思えます。しかし、これについては皆さんもすでにお分かりだと思います。私は少し繰り返しているような気がしますが、いずれにせよ、彼らの3ドルでの再現プロジェクトはオープンソースになる予定で、現時点では特に数を数える能力に特化しているとのことです。
「まあ、それは基本的なことで、本当に何の役に立つのか」と思われるかもしれません。しかし、想像してみてください。私たちは基本的な基礎知能を持つ、これらの非常に小さなモデルの多数の集まりに向かっているように見えます。最小限のモデルは約15億パラメータのようです。このようなモデルは携帯電話で実行できます。
今日では、PCでAIモデルを実行することは可能ですが、それには巨大なグラフィックカード、つまりAI計算を行う計算チップが必要です。大量のエネルギーが必要で、特に非常に高度なチップが必要です。しかし、これらの15億パラメータの小さなモデルは、携帯電話で実行できるほど小さいのです。
ローカルなChatGPTを携帯電話で実行し、それが携帯電話にのみ限定されているという状況を想像してみてください。それが私たちが向かっている未来だと思います。非常に高度なChatGPTのような大規模な汎用モデルはありますが、それだけではありません。
実際、これは誰もが自宅でオープンソースで作成できる、これらの小さなモデルをすべて取り、その上に構築し、特定のユースケースで本当に効果的にすることです。例えば、企業のすべてのデータ、すべてのメールのデータベースなど、あなたの望むものすべてについて、このような小さなモデルを訓練することは今日でも可能です。
ご覧の通り、100回のステップで、このカウンティング問題における20億パラメータのモデルの精度を53%から99%にまで向上させ、事実上完璧な性能を達成し、94%の精度だった720億パラメータのモデルを上回りました。これは非常に驚くべきことです。
技術に詳しい方のために、ここにオープンソースプロジェクトがあります。自分で試すこともできます。これで、オープンソースコミュニティ全体がDeepSeekでうまく機能したものを見て、それを再現し、革新を加え、さらに拡張することができます。これがオープンソースの力です。
進歩はいつ減速するのでしょうか？近い将来ではないように思います。よく聞いていただければ、その理由がおわかりいただけると思います。まだチャンネル登録されていない方は、ぜひ登録してください。このような新しい動画や他の動画が毎日このチャンネルでお待ちしています。
コメント欄で皆さんの印象をぜひ共有してください。皆さんの意見は非常に重要です。そして、バークレーの動画で冗談を言ってくれた私の親愛なる購読者の方、もしコメントで見かけたら、ぜひいいねを押してあげてください。
一つ確かなことは、このAIの世界への旅を私たちは一緒にしているということです。なぜなら、まさに今、AIは実際にあらゆるセクター、あらゆる職業、私たちの日常生活のあらゆる側面を変革しています。6ヶ月後、1年後には、もはやオプションではなく必要不可欠なものとなるでしょう。
今日、皆さんには決定的なアドバンテージを得るチャンスがあります。さらに深く学びたい方のために、私は誰でもアクセスできるトレーニングコースを作成しました。リンクは動画の下のピン留めされたコメントにあります。
ご視聴ありがとうございました。明日、また新しい興味深い発見についてお話ししましょう。この分析に興味を持ち、現在の地政学的課題についての理解をさらに深めたい方は、私の新しいチャンネル「Vision Actu」をぜひご覧ください。現在と未来を形作る、このトピックや他のトピックについての詳細な分析をご覧いただけます。両方のチャンネルをぜひ登録して、何も見逃さないようにしてください。新しい分析でまたお会いしましょう。
コメント