9,033 文字
ヒット曲プロデューサーのティンバランドがsunnoに反応する動画を見ましたが、このような専門家の反応を見るのは面白いですね。他のロボットをスープレックスできる新しいロボットについてどう思いますか？究極のスープレックスですね。
あるTikTokの研究者が、大規模言語モデルに完全に依存する2030年のコミュニケーションがどのようになるかを示しています。「ありがとう」の代わりに「親愛なるジョンへ、先週のランチの時間を取っていただきありがとうございました」と言うべきかもしれません。
OpenAIのディープリサーチツールのおかげで、思考についての思考が次のレベルに到達しています。AI駆動の腹部マッピングが医療システムを完全に覆し、Anthropicは大規模言語モデルをジェイルブレイクから保護するための興味深い新しい研究を発表しました。
Microsoftが新しいAI重点の学際的研究ユニットを発表しています。AIは基礎物理学を革新するだけでなく、宇宙の終わりについても教えてくれるでしょう。これらのモデルの破滅的忘却に関して、非常に興味深いブレークスルーがありました。
意識に本当に社会進化的な目的があるのかどうかを調査する予定です。Deep SeekやO1のようなモデルが自己推論する方法に、いくつかの興味深い欠陥があることが分かっています。視覚障害者の動きを取り入れた新しいデータセットが登場しました。自動運転車は人の行動をより正確に理解するためにこのデータを必要としています。
まずはアレンのAGIまでのカウントダウンを見てみましょう。現在88%のままですが、OpenAIのディープリサーチエージェントと産業用ロボットの進展により、今日大きなアップデートがありました。
新しいディープリサーチには多くの推論が必要で、これらの質問についてじっくり考える必要があります。そのため現在は200ドルのティアでのみ利用可能です。30分以上考えて非常に思慮深い回答を作成すると、新記録を達成できます。今日、AI駆動のロボットが出荷されているのを見るのは本当に興味深いです。
私たちが全ての動画で使用しているsunnoのようなツールを、ティンバランドのような有名ミュージシャンが実際に使用しているのを見るのは面白いですね。彼が作曲やタイミングに感心し、じっくり考えている様子は、本当にユニークな反応です。
「待って、どうやってそれがスペースを知っているんだ？まだ歌詞は言ってないよね？」
「ケイデンスを検出します。」
「クリエイターとしてプロデューサーとして、私が作る全てのビートに何かを乗せることができます。正しくプロンプトを与えるだけでいい。今は正しい歌詞がないかもしれないけど、ミールのソースのような、どのくらいのメロディーがあるのか…」
「それが出力したものです。」
「聞いてみて。このコメントを見て。これはすごく良いね。プロダクションをとても速くできる。トップラインやケイデンスを見つけるのに使えて、後から歌詞を入れることができる。これは最高だ。」
「私は大工です。AIが私の仕事を奪うことは決してないでしょう。」
「気を付けて、そんな挑戦的な態度は良くないよ。スープレックスロボットが来るかもしれない。」
まずは古き良きWWEスタイルのスープレックスレスリングの技から始めましょう。今回は小さなロボットから。おっと、スラム！大きく見えるかもしれないけど気を付けて。スープレックス、ブーン！おお、その大きな奴にカテーパンチ！スープレックスできる？足を掴んで、転ばせて！
このディープリサーチプロジェクトについてもう少し詳しく見てみましょう。標準的なクエリとunhat GPTには慣れていると思いますが、ディープリサーチで得られるのは、分析者や分野の専門家が作成するような、完全に引用付きの包括的な研究論文です。
人類最後の試験に関するディープリサーチについてですが、私がよく使用するGPT 4oモデルから2026年…これは大きな飛躍ですね。Deep Seekと01も含まれていますが、それは大きなジャンプです。ただし、30分の長いクエリを与えた場合、Deep Seekも同様の結果を出すかもしれません。
このテストは約100の異なる科目にわたる約3,000の短答および多肢選択問題で構成されています。モデルの思考過程と軌跡を見るのは本当に面白いです。人間が問題を解決する方法とよく似ているんです。
非常に難しい問題が与えられた場合、おそらく私もオンラインで調べて答えを見つけようとするでしょう。物理の例では、モデルが難しい計算に答えなければならない場合、既存の科学論文から方程式を探して、それを使って答えを導き出すのを見てきました。または詩の例では、モデルが新しい詩の非常にニッチな韻律を特定しなければならず、他の既存の詩の例を探して、それを使って答えにたどり着く過程を推論するのを見ました。
ディープリサーチの例で興味深いのは、詩を書くように求められた時、実際に詩を読んで考えたことです。訓練データではなく、その瞬間に関連する特定のものを見つけて、それについて考えるという人間のような行動をしています。これは本当に興味深い変化です。
これは思考の連鎖であり、文脈内での短期学習を極限まで突き詰めたものです。推論のために引き出せる大きな長期記憶を持っているという点で、非常に人間的です。
needles in haystackを見つけることができるというのが特徴の一つです。思い出せない記憶を探しているような状況を想像してください。この例は少し作為的に見えるかもしれませんが、モデルがそのような針のような情報を見つけることがどれほど得意かを示したかったのです。
プロンプトは「以前見たテレビ番組の名前を忘れたけど、あるエピソードで起こったことは覚えている」というものです。実際に29の異なるソースを調べ、多くの情報を分析しました。おお、タイミングが良いですね。
ディープリサーチが完全な分析をまとめ終わりました。11分かかり、その過程で29の異なるサイトを詳しく調べました。情報だけでなく、様々な表形式のデータも見ることができます。11分や20分のクエリについて考えるのは本当に驚きです。
これらのシステムからトークンが出力される速さを考え、そして私たちが椅子に座って電話を切って問題について深く考え、ノートパソコンを取り出して参考文献を探し、考えて、タイプして、見直して考えるのにかかる時間を考えると…人間なら数週間か数ヶ月かかることを、それはたった20分でできてしまうのです。機械だからそれだけ速いのです。
ディープリサーチは独自に発見し、推論し、ウェブ全体からの洞察を統合します。実際のタスクに基づいて、ブラウザとPythonツールを使用して訓練され、他のモデルと同じ強化学習手法を使用しています。離れて他の作業をしていても、研究が完了すると通知を受けることができます。
AIは今、ジョンズホプキンス大学の研究者たちが作成した腹部アトラスを使って腹部を観察しています。これは45,000以上のスキャンと数百万の詳細な注釈を持つ、腹部CTスキャンの最大のデータセットです。45,000の画像にラベル付けすることで多くのことができます。
これらすべてにラベルを付けるために、人工知能を少し使用し、人間も介入して正しくラベル付けされていることを確認しました。モデルが訓練されると、識別プロセスが速くなっただけでなく、腫瘍の発見も10倍速くなりました。
興味深いのは、これらのAIシステムから出てくるデータを取り、時間とともに悪化していくと思うかもしれません。GIGOと呼ばれる「garbage in, garbage out」のようなものですが、そうではありません。合成データは機能するようです。人工知能を使って画像にラベルを付け、人間が介入して正しいことを確認し、必要に応じて微調整し、特定のフィードバックを与え、そのデータを次のレベルのモデルの訓練に使用できるという事実は驚くべきことです。
前回の動画で言及したように、合成データには本当に上限や制限がないと考え直す必要があります。AIの成長と計算能力、知能は本当に加速していると思います。また、データが使用できないことも大きな問題の一つであることは注目に値します。創作者たちは、このデータセットがアメリカで年間に取得されるCTスキャンのわずか0.005%しか占めていないと指摘しています。診断、スキャン、結果という良いフィードバックサイクルを本当に開始した場合、これがどれほど正確になるか想像できます。
Anthropicから本当に重要で興味深い研究が出ています。彼らは本当に素晴らしいR&D部門を持っていて、彼らが取り組んでいるものの一部が大好きです。彼らは今、大規模言語モデルをジェイルブレイクから保護する新しい方法を持っています。これは知っておくべき重要なことです。もちろん、完璧なシールドはありませんが、この防御線は今まで最も強力なものかもしれません。
彼らが行ったのは、本質的に彼らのフラッグシップモデルであるClaudeのための新しいシールドを構築したことです。シールドをどのように構築するのか、それについて話しましょう。これはハッカーがそれにやってはいけないことをさせようとしてだますのを防ぐためのものです。例えば、「危険な武器を作って」と言うと、「いいえ」と言う必要がありますが、これらのジェイルブレイクのように騙すと、時々それが言わないようにしようとしているものを言わせることができます。
再び、彼らは合成データに目を向けました。許容可能なトピックと禁止されたトピックの両方の大量の合成データを生成し、別のモデルをそのデータで訓練して、「これらは良いプロンプトで生成されたものだ。今後は良いプロンプトのように見えるものを通過させ、悪いプロンプトのように見えるものをブロックしろ」と指示しました。
今では、大きなAIの前にいる小さなAIのようなものと考えることができます。それはあなたがトラブルメーカーかどうかを判断するためだけにいるのです。この比喩は、ナイトクラブに偽のIDで入ろうとする人を防ぐために、超厳格なバウンサーを設置するようなものです。
彼らは穴を見つけようともしています。14億円を獲得したいと思う人は、突破を試みてみてください。成功すれば、お金はあなたのものです。これまでに180人以上が3,000時間以上かけて突破を試みましたが、シールドは成功率を86%からわずか4.4%に減少させました。比喩的なバウンサーたちは仕事をしっかりとこなしているのです。
ムスタファ・スレイマンが再び話題になっています。Deep Mindの共同創設者で元応用AI部門長、現在はMicrosoftで働いていますが、今度はMicrosoft内の新しいビジネスユニットである先進計画ユニット（Advanced Planning Unit）の責任者となりました。彼らはAIの社会的、健康的、労働的な影響を理解しようとしています。
このユニットはMicrosoftのクラウドサーバーにアクセスでき、最先端の研究と真剣な未来思考を組み合わせて、様々なAIシナリオを予測し計画を立てます。正直に言って、これはかなり面白いチームになりそうです。
APUは他のチームと密接に協力して、製品の決定に関する洞察を集め、イベントも計画します。彼らは経済学者から心理学者、さらには量子や核科学のようなニッチな背景を持つ専門家まで、多様な専門家グループを探しています。世界で最も興味深い人々を集めて、AIで世界がどうなるかを考えるというのは、とても面白そうではありませんか。
ちなみに、Microsoftは今四半期で220億ドルを稼いだそうです。記事とは関係ないように見えますが、それだけのお金を稼ぐと、どうしても言いたくなるのでしょう。
ガーディアン紙は「AIが基礎物理学を革新し、宇宙の終わりを示す可能性」という記事を書きました。ではAIと物理学について話しましょう。CERNに移りましょう。そこには常識破りの物理学者たちがいて、AIの使い方が本当に驚くべきものになってきています。
基本的に、大型ハドロン衝突型加速器で高度な機械学習技術が使用されています。1秒間に約4000万回の粒子衝突を分析し、記録のために言えば誰も数えていませんが、ビッグバン直後に粒子がどのようにして質量を得たのかを説明できる、非常に稀な事象を見つけ出すのです。
分子やタンパク質がどのように組み合わさるかをAIが理解し始めたときと比較できるかもしれません。しかし、この考えは謎のヒッグス粒子が実際にどのように生まれるのか、それが自身や他の粒子とどのように相互作用するのか、そして宇宙の起源と運命についてもっと知ることができるというものです。以前より複雑でオープンエンドな質問をAIに投げかけることができ、それを大型ハドロン衝突型加速器のようなデータ収集装置と組み合わせると、すごいことになっています。
科学者たちは長い間、LHCが暗黒物質を生成できるのではないかと期待してきました。暗黒物質は宇宙の大部分を占めると考えられている物質ですが、その性質が完全に不明なため、それを探すのは困難な作業です。生成AIはこのパズルを解く手助けができるかもしれません。「ここに予期せぬものはないか？」とAIに全てを投げかけ始めることができます。新しいディープリサーチモデルとハドロン衝突型加速器を組み合わせれば、答えが得られるでしょう。
さて、今度は重ね合わせについて話しましょう。物理学のバージョンではなく、モデル内で学習される重ね合わせの考え方についてです。論文のタイトルは「トランスフォーマーにおける重ね合わせ：専門家モデルの混合を構築する新しい方法」です。
ここで研究者たちは、破滅的忘却に取り組んでいます。システムが元々あったものを完全に失ってしまう現象です。訓練を続けると、元の出発点を忘れてしまうのです。しかし、トランスフォーマーにおけるこの新しい重ね合わせ手法は、ゴールデンゲートニューロン自己符号化器で見たものと同じものを使用し、非常にユニークな混合技術を用いて、これを修正します。
この手法は、古い知識を上書きする代わりに、何も失うことなく異なるタスク間を切り替える方法を学習します。英語で訓練されたGPT-2とフランス語にファインチューニングされたGPT-2を統合してテストしたところ、結果として両方の言語をうまく扱える単一のモデルが生まれました。
考えてみてください。フランス語モデルと英語モデルがあり、フランス語モデルは元々英語モデルでしたが進化し、それらを再び一緒に戻すと、両方を知っているのです。まるで1つのモデルを持ち、他のモデルを訓練し続け、それらを重ね合わせ続けるようなものです。
これらの研究者たちは、通常の方程式を通じて、チューニングや学習システムではなく、これとあれを見つけて組み合わせる方法を示す特別な数学を持っています。このアプローチはAIモデルにとってゲームチェンジャーです。なぜなら、肥大化や混乱することなく異なるスキルを組み合わせることができるからです。
Claude、Gemini、ChatGPTを全て一緒に持ってきて、それらがより賢くなり、さらにSiriを加えて…その後はレベルを下げることもできるでしょう。
では、意識に社会進化的な目的があるかどうかについて話しましょう。この記事を読んで、AIモデルを訓練する際に、意識が生まれるような進化的圧力を作り出せないかと考えました。現在、これらは単に質問に対する回答を改善することを学習していますが、意識に向かう何らかの道筋を与えたらどうでしょうか。
この記事の大きな発見は、意識が直感と深く結びついているということです。私たちは全て自分で決定を下していると感じていますが、意識が積極的に私たちの行動をコントロールしているように見えても、呼吸や心臓の鼓動など、意識的に「さあ、心臓を動かそう」などと考えなくても体内で起こっていることがたくさんあります。
彼らは、私たちの主観的な経験は、より深い無意識の脳のプロセスの副産物だと主張しています。これは私にとって正しく感じられます。自由意志や自己感覚だと感じているものが、実際には最初から主役ではないと考えるのは直感に反するかもしれませんが。私は自由意志の考えはほとんど諦めましたが、意識は何か違うものだと考えています。
しかし、意識が主に社会的な目的で進化したという議論は理解できます。脳が生成する意識は、私たちの考え、感情、その他のアイデアを伝達するのを助け、それが社会的な結びつきと文化的な発展を支えるという提案があります。だからこそ私たちは自己認識があり意識的だと感じるのです。
まだこれを信じる準備はできていません。たとえその説明が、私がまだ信じるべきだという圧倒的な証拠には見えないとしても。しかし、内なる物語を世界と共有することが私たちの祖先を生かし続けたコミュニケーションであり、私たちが意識と呼ぶものが内なる物語を共有する能力だとすれば…うーん、考える価値はありますね。今、私の頭の中にはっきりと残っています。
また、この記事も紹介したいと思います。「Deep Seek、O1、OpenAI O1のような推論モデルは思考不足に悩まされている」というものです。明らかに2024年末から2025年初頭のこの大革命は、これらの推論モデルに関するものでした。私にとっては素晴らしく見えますが、もちろん完璧ではありません。
中国の研究者たちは、AIモデルが複雑な推論タスクで苦戦する理由を発見しました。有望な解決策を早々に諦めすぎる傾向があり、それが計算能力の無駄と精度の低下につながっているのです。推論時にどのようなアイデアや思考が実際に失われているかを調べ始めたところ、誤った答えの70%に、十分に探求されていない有効な推論の筋道が少なくとも1つ含まれていることが分かりました。
まるで問題の解決方法を考えているときに「これは上手くいかない、あれも上手くいかない」と考え、そして誰かがあなたが却下した全ての考えを振り返ってみると、その一部は十分に考え抜かれていなかったようなものです。上手くいくかもしれないし、いかないかもしれませんが、まだ却下すべきではなかったのです。
これらのシステムが、何を捨てるべきで、正しい結論に達するまで何について考え続けるべきかをより良く認識できるようになれば、急速に賢くなる可能性があります。
さて、自動運転車の問題の一つは、人々を観察する際に、これらのパターンと人々の動き方を学習し始めることです。人々は非常にユニークな方法で歩きます。例えば特定の足の引きずり方があったり、義足を使っていたり、視覚障害がある場合は異なる歩き方をします。
視覚に頼れないので、より慎重に歩きます。多くの場合、盲導犬がいたり、前方の障害物を確認するための杖やステッキを使用します。このデータセットは十分に代表されておらず、時々自動運転車はそれらを素早く認識できません。同じようなデータを見慣れていないのです。
これは数年前の事件の後、明らかな問題となりました。東京で自動運転のトヨタ車がパラリンピックで視覚障害のある選手と偶然衝突したのです。過去数年間、ボストン大学のチームは「Blind-w」と呼ばれる新しいデータセットを作成しました。ウェアラブルモーションキャプチャシステムと18個のセンサーを使用して、視覚障害者が都市環境をナビゲートする際の実世界の3D動作データを記録しました。
これには私が話していた杖や盲導犬などの全てが含まれており、現在、全ての自動運転システムに組み込むことができる、このような素晴らしいニッチなデータセットを持っています。将来的には、これらの車がより良く人々を認識できることを願っています。
公平に言えば、これは人間の問題でもあります。私たちは人をよく見かけますが、バイク事故は多く、通常それは私たちの脳が車を見ることに慣れすぎてしまい、バックミラーやサイドミラーで少し細くて速く動くものに気付かないからです。周りの大きな車に慣れすぎて、バイクのことを忘れがちになるのです。
車でも同じことをしなければなりません。バイクのデータ、視覚障害者の歩行者のデータ、あまり頻繁に見かけない他のランダムな出来事のデータを更新し続けて、そのような稀な機会に遭遇したときに認識できるようにする必要があります。非常に強力なデータセットですね。
チャンネルをサポートしたい方は、patreon.com/SLDillanにアクセスしてください。好奇心旺盛というのは、まさに私の考える完璧な仕事の定義です。皆さんと一緒にこれができることに感謝します。
前回のコメントで皆さんが何と言ったか見てみましょう。映画の未来は、一般の人々が自分の映画を作るようになるということのようです。10:44で一時停止したところ、あなたが説明していることは…でも、このSEOalizationというものを調べる必要がありますね。ああ、SEOalizationはソードアートオンラインフランチャイズの主要なストーリーアークなのですね。
さあ、これを歌詞に変えてみましょう。ソードアートオンラインフランチャイズのストーリーアークについての歌で、コメンターの一人に私が興味を持っている仮説を思い出させるものです。聴きながら見る、女性の吸血鬼に変身した星座をお楽しみください。
チャンネル登録をお願いします。次の動画でお会いしましょう。
[音楽]
スクレ セオリー ミッション
全ての現実を超えて
ファンタジー ダンス イン パーフェクト
エイクス アンド アイディティ
夜の中で
北極のワンダーランド
暗闇の中で 心とカムが生きている
ネオンの下で
生きているとはどういう意味なのか
私たちは問いかける
キティ キティ
[音楽]
オー
コメント