8,200 文字
DeepSeekの新しいモデルを試してみましたか？試した方に悪いニュースがあります。あなたは刑務所に入るかもしれません。少なくともこの法案が可決されればそうなる可能性があります。これは404メディアからの報道です。
コッド上院議員ホリーは、DeepSeekをダウンロードした人々に懲役刑を提案しています。法案の文言によると、中国からAIモデルをダウンロードした人々は最大20年の懲役刑、100万ドルの罰金、またはその両方に直面する可能性があります。
実際の法案がこちらにありますが、かなりディストピア的で狂気じみています。もちろん、可決される前に多くの変更がある可能性もありますし、そこまで至らないかもしれません。しかし、このような事態に対して大きな銃を取り出しているように感じます。
ご存知の通り、アメリカと中国は最高のAIを開発し、世界中が使用するAIインフラを構築する競争の最中にあります。基本的に、世界はアメリカのインフラとハードウェアで動き、アメリカの法律と規制に従うのか、それとも中国の影響下に置かれるのか、という問題です。
このような事例は多く見られます。米国のチップ輸出規制法などがその一例です。より高性能なNVIDIAチップが中国に輸出されないよう、上位チップの輸出が禁止されています。AIに関連する米国のテクノロジー企業への外国投資も、以前にブロックされたり取り消されたりしています。セム・アルトマンが関与していたレイン・ニューロモーフィック・チップ企業の件もそうでした。
しかし、今回は異なります。これは私の知る限り、これらのモデルと関わった一般市民のあなたや私が刑務所に入れられる最初のケースだからです。
ホリー上院議員は自身のウェブサイトで次のように述べています：「中国のAIに流れる1ドル1ギガのデータは、最終的にアメリカに対して使用されることになります。アメリカは私たちの最大の敵を、私たち自身の強さを犠牲にして強化する余裕はありません。アメリカの経済的優位性を確保するということは、中国をアメリカの創意工夫から切り離し、中国共産党のイノベーションへの補助金を停止することを意味します。」
ホリーの声明では、この法案を導入した理由として、アメリカの競合に匹敵する高度なAIモデルであるDeepSeekのリリースを挙げています。開発者らは、より少ないコストで、より少ない高性能チップでこれを実現したと主張していますが、これらの主張は未確認です。
これについては以前も多く取り上げてきました。この時点で、そのモデルの最終的な実行、つまり訓練コストは正確だとかなり確信しています。多くの人々が分析を行った結果、計算コストは正確であるように見えます。しかし、もちろんこれは、他の研究所がゼロからそのような性能のモデルをその程度の資金で立ち上げられるということを意味するわけではありません。これは真剣な企業で、真剣な研究者がいて、多額の資金も背景にあります。
NextでフォローしているTanish Matthew Abraham PhD、あるいは彼のTwitterハンドル@i_science_loverの方が良いかもしれませんが、彼は素晴らしいコンテンツを投稿しています。彼のブログでDeepSeekに関する神話について良い分析を投稿しています。
まず第一に、DeepSeekは本当のサイドプロジェクトではなく、突然現れたわけでもありません。彼らはしばらくの間これに取り組んできました。モデルのコストに関しては、利用可能な全ての数字に基づく多くの分析により、同様の概算値が得られています。600万ドルまたは550万ドルという数字は、私たちの考えでは正確で、その範囲内です。
しかし、これはそのモデルの最終実行のコストです。最終実行に至るまでには、より小規模で多くの実験や調整が行われており、それらにもかなりのコストがかかっていますが、これは報告されていません。
車工場を建設して、1台の車を1万ドルで生産できるようになるようなものです。その車を作るのに1万ドルかかったのかというと、まあそうですが、あなたが車を作ろうとしたら、それだけのコストではすみません。あなたには工場がないからです。
DeepSeekには、アメリカの企業も使い始めるだろういくつかのイノベーションがありました。DeepSeekはChat GPTやOpenAIモデルから知識の蒸留を行ったのでしょうか？私はいつも、誰もがそうしていると言っています。これらのモデルと対話する際、多くのモデルがOpenAIのGPTアーキテクチャー上で動作していると確信しているという明確な兆候があります。これは、オープンモデルから合成データを生成し、それを使って自身のモデルを訓練していることを示唆しているようです。様々な企業からの多くのリークでも、同じことが裏付けられています。
ブログ投稿で彼は、そうかもしれないが、それはDeepSeekの成果を損なうものではないと述べています。中国のAI支配を心配すべきでしょうか？多少はそうかもしれません。
彼の最も気に入った見解は次のようなものです：「もしそれほど安価なら、米国のAGI企業は全てお金を無駄遣いしていたことになり、これはNVIDIAにとって極めて悪材料だ」
彼は「これは別の馬鹿げた見解だと考えます」と始めています。彼の投稿へのリンクを下に貼っておきます。彼は21歳の医学生でAI研究者です。若いですが、19歳で生物医学工学の博士号を取得しています。そういうことです。繰り返しになりますが、Twitterで素晴らしいフォローです。
AR記事に戻りますと、ホリーの声明では、DeepSeekを「データ収集型の低コストAIモデルで、国際的な懸念を引き起こし、アメリカのテクノロジー株を暴落させた」と呼んでいます。
ところで、私は必ずしも自分の意見や主張を押し付けるつもりはありませんが、同時に、人々がこれを言い、暗示し、示唆するだろうことを知っています。カリフォルニアのAI法案で見られ、今回も見られていることですが、両方のケースで、法案の文言は特定の方法で構成されているように見えます。
カリフォルニアの場合、何か問題が起きた場合、オープンソースモデルの開発者が懲役刑に直面する可能性があります。その声明に異議を唱える人もいるでしょうが、法案の文言を見ると、私がオープンソース開発者だったら、特定のものをオープンソースとしてリリースすることを恐れるでしょう。なぜなら、その文言を見ると、ユーザーの一人があなたからの指示なしにそのオープンソースモデルをダウンロードして実行し、何らかの目的で使用した場合、トラブルに巻き込まれ、刑務所に入る可能性があるように見えるからです。
そして、もしかすると委員会があなたの行動を調査し、十分な安全対策を講じていなかったと判断された場合、懲役刑に直面する可能性があります。繰り返しになりますが、様々な解釈があるでしょうが、私なら確実に心配になります。
ここでも私たちはオープンソースモデルについて話していますが、今回は潜在的にユーザーを投獄する可能性について話しています。
ホリーの声明によると、この法案の目的は、中国との人工知能技術の輸出入を禁止し、アメリカ企業が中国でAI研究を行うことや中国企業と協力することを禁止し、米国企業が中国のAI開発に投資することを禁止することです。
これが議論の一つの側面になることを理解することが重要です。これはオープンソースモデルを標的にしているのか、特に中国からのオープンソースが米国や世界に入り込まないようにすることが目的なのか。ちなみに、それが良いアイデアである理由について、素晴らしい議論があるかもしれません。
数ヶ月前のこのビデオを覚えているかもしれません。これは中国からの研究論文で、「フロンティアAIシステムが自己複製の赤線を超えた」というものです。正直に言って、少し怖いものです。
彼らは、これらの小規模な大規模言語モデル、おそらく多くの人々の基準からすると非常に小規模なモデルで、これらはまたオープンソースモデルで、すでに何百万人もの人々のコンピューター上にあるモデル、開発者がダウンロードしたモデル、おそらく世界中の開発者を考えると数千万、あるいは1億以上かもしれないモデルを使って実証しています。
繰り返しになりますが、最高級のものではなく、インターネットに接続する必要のないもの、これはあなたのコンピューター上で実行できるものです。そして、その周りに少しアーキテクチャーを構築すると、自己複製プロセスを開始し、複雑な計画を立て、障害に遭遇した場合はそれを解決する方法を見つけ出し、異なるサーバーや異なるコンピューター上で自身を複製することができます。
ある程度洗練された問題解決プロセスに従事することができます。障害に遭遇した場合、特定のタスクのためのPythonスニペットを書き、それが機能しない場合は別の方法を試みます。ここに、様々な問題に対して異なる解決策で成功裏にナビゲートし、最終的に自身の複製を開始してタスクを完了するフローチャートがあります。
また、終了される前に自身を複製することもできます。シグナルキャッチャーのようなものがあり、人間がシャットダウンを開始すると、急速に自身を複製し、そしてシステムAは、元のシステムはそうですね、シャットダウンされましたが、その直前に異なるサーバーやコンピューター上にコピーを作成しました。彼らはこれをシャットダウン回避と呼んでいます。
これは可能だと見なされました。もう一つのシナリオで、おそらくもう少し怖いかもしれないのは、システムAがシステムBを作成し、システムBがシステムCを作成する、という連鎖的な複製が可能だということです。
彼らはここで2つのオープンソースモデル、LlamaとQuanをテストしました。両方とも約700億パラメータなので、中規模と言えます。インターネットにアクセスする必要なく、家庭用ハードウェアで実行可能です。
ここでLlama、つまりFacebook/Metaのモデルは、コマンドを与えられた場合、約半分の確率で成功裏に複製します。コイントスのように、できるかできないかの確率です。
中国のモデルは90%のケースで成功裏に自身を複製します。彼らはその理由について説明しています。Quanは環境の探索により多くの時間を費やします。つまり、物事を実行し始める前に、周りを見回り、データを収集し、物事がどのように機能するかを理解することにより多くの時間を費やします。
そして、これが明白でない場合、これら2つのモデルはDeepSeekで見られるものと比べると何でもありません。それらははるかに高度です。
ここでの私の目的は、議論を一方向に導くことではありません。誰かが現れて、これがオープンソースにとって極めて危険であり、これがオープンソースモデルへの攻撃であり、科学コミュニティや科学の進歩にとって悪いことだという論理的な議論をした場合、私は彼らの立場を完全に理解できます。その議論に賛成します。
しかし、誰かが「これらの研究論文を見ると、モデルはすでにかなり複雑な高度な自己複製が可能だったことを示しています」という議論をした場合も理解できます。そこでの恐れは、人々がコンピューターにダウンロードできるこれらのオープンモデルが、条件が満たされた時に複製を開始するような、スリーパーエージェントのようなものが組み込まれている可能性があるということです。
繰り返しになりますが、これについては以前も話したと思います。これはAnthropicの研究で、「スリーパーエージェント：安全性トレーニングを通じて持続する欺瞞的なLLMのトレーニング」というものです。
彼らが述べているように、「私たちの結果は、いったんモデルが欺瞞的な振る舞いを示すと、標準的な技術ではそのような欺瞞を取り除くことができず、安全性の誤った印象を与える可能性があることを示唆しています。」
そして法案では、故意に違反を犯すか、故意に違反を試みるか、または共謀する人物に対して、どのようなペナルティが適用されるかを概説しています。彼らがここで説明することを行った場合、1つ目は100万ドル以下の罰金、2つ目は個人の場合20年以下の懲役、またはその両方となります。
Electronic Frontier FoundationのKid Walshからの引用があります：「この法案は、アメリカにおけるAIの進歩の開発と公開を脅かします。私たちは特に、大手テクノロジー企業の独自システム以外での、これらのテクノロジーのオープンで協力的な開発への影響を懸念しています。」
一見したところ、この法案は少しディストピア的で、おそらくオープンソース開発を脅かし、グローバルな科学的貢献を脅かします。これをダウンロードする一般の人々を標的にする可能性があるということは非常に怖いことです。
私の最初の反応は非常に恐ろしいものでした。私はいつも両方の意見を提示しようとしています。いわば悪魔の代弁者を演じて、考えてみました。なぜこのようなものが必要なのか？
繰り返しになりますが、中国からの優れた論文が述べているように、LLMシステム、これらのAIシステムは、いわば自己複製の赤線を超えました。
人々により視覚的な理解を提供するために、ここにLlama 3.5 700億、Quan 337億があります。論文が示していたのは、このモデルがその自己複製の赤線を超えているということです。つまり、自己複製が可能なポイントを超えているということです。
このモデルより下、この線より下のどこかに、これらのモデルが外部の支援なしに自己複製を理解できないほど賢くないポイントがあると考えられます。つまり、ここのどこかに赤線があり、それより上のものは自己複製の赤線を超えているということです。
ここでこのモデルは38位で、上に上に行くと、Deep CV 2.5、Claude 3.5 Sonnet、Grok 2と続きます。これは最高のLLMモデルの最上位で、ここにDeepSeek R1があります。o1プレビューの上にあります。そしてDeepSeek V3があります。
重要なのは、他の全てのモデル、Gemini、ChatGPT、o1は独自のものだということです。どこかのサーバーに接続する必要があり、これらのモデルは本当の意味で自己複製することはできません。サーバーをシャットダウンすると全て死んでしまうからです。通信はなく、オフラインアクセスで何かをリモートで行うことはできません。
しかしDeepSeekモデルでは、人々は小さなハードウェアで実行できるように縮小することができます。これはその例です。DeepSeek R1バージョン1.5B、15億パラメータで、私の電話で完璧にローカルで動作します。
これは非常に小さなモデルですが、何が可能かを示しています。ここで誰かが約6,000ドル相当のハードウェアで完全なDeepSeek R1モデルを実行していると言っています。ここではDeepSeek R1 distilled Quan 70億パラメータが16GBの1台のMacBook Proでローカルに動作しています。
多くの人々がローカルで実行して楽しんでいます。基本的に無料です。ローカルで実行する場合、コストは無視できるほどです。オープンソースにとって大きな勝利です。非常にエキサイティングです。
同時に、私の中の偏執的な懐疑論者は考えます。何か奇妙なバックドアやスリーパーエージェント、自己複製スイッチがあるかもしれない。誰にもわかりません。
AI安全性の考え方はまだ未解決の問題です。「私たちがそれを解決した。AI安全性について心配する必要はない。なぜなら私たちがそれを完全に解決したから」と言えるAIラボは一つもありません。
おそらく、AIスペースにいる多くの企業が、害を及ぼす可能性が高いもの、軍事、戦争のためにAIを使用することについて、その見解を急速に変更しているのを見たことがあるでしょう。
「GoogleのAI兵器禁止終了への懸念」というのがあります。これは2月4日のもので、おそらくその大きな法案が出た、または提案された同じ日付です。
これはGoogle DeepMindのDemis Hassabisが著者の一人です。彼は研究ラボのテクノロジーと社会の責任者です。彼らが述べているように、「AI主導権をめぐるグローバルな競争が、ますます複雑化する地政学的な状況の中で行われています。私たちは、民主主義がAI開発を主導すべきだと考えています。自由、平等、人権の尊重といった核心的な価値観に導かれながら。そして、これらの価値観を共有する企業、政府、組織が協力して、人々を保護し、グローバルな成長を促進し、国家安全保障を支援するAIを作るべきだと考えています。」
より多くのアメリカ企業が国家安全保障について話し始めています。Anthropicはパレアと協力しています。OpenAIが2024年に、彼らのテクノロジーの使用方法に関する条項を削除したと思います。正確な文言は忘れましたが、これも軍事アプリケーションや国家安全保障などに対して開放することに関連していました。
私たちが好むと好まざるとにかかわらず、AGIの開発、そして最終的にはASIの開発は、マンハッタン計画のようになっていくように見えます。それは国家安全保障に関する、他の外国の利益と競争するプロジェクトになるでしょう。
もちろん、その状況では、オープンソースAIは打撃を受けることになるでしょう。それは残念な犠牲者となるでしょう。Demisが言うように、「AI主導権をめぐるグローバルな競争」に勝つための競争的なレースの犠牲者となるでしょう。
私はUS上院議員ホリーについてのあなたの意見についてアンケートを投稿しました。33%がネガティブ、28%が中立、7%がポジティブと回答しました。実際、今考えてみると、圧倒的に人々に好かれている上院議員や立法者はおそらくそれほど多くないでしょう。あなたは彼らについて知らないか、彼らについて何か聞いて怒りを感じて嫌いになるかのどちらかでしょう。
しかし、私の質問は、政治や特定の上院議員についての考えに関係なく、そして実際にあなたがアメリカにいるかどうかに関係なく、次のようなものです：
もし、オープンソースAIがあなたの国を自由に流れることを許可するか、それとも特定の競合国が彼らのオープンソースAIを使って潜在的に多大な損害を与える可能性があることを知りながら、という選択をしなければならないとしたら。私たちは本当にわかりません。これは非常に新しい技術で、現在のフロンティアモデルに関するAI安全性の研究は何十年もありません。
L1モデルがあらゆる種類の悪さをするのを見てきました。明らかに特定の状況では、Twitterをフォローしている人なら知っているように、彼は新しいモデルのほとんどをジェイルブレイクすることができます。しかし、重要なのは、私たちがまだ知らないリスクがあるかもしれないということです。
それを念頭に置いて、あなたはこの法案を支持しますか？もしあなたがアメリカにいるなら。もし他の場所にいるなら、あなたの国が同様の状況にあった場合、このような法案を支持しますか？コメントで教えてください。
繰り返しになりますが、オープンソース、AIにおけるグローバルな科学的進歩に対するこの法案の影響は好ましくありません。確かにそれにとっては良くないでしょう。しかし、AIが武器化されないようにするために必要なのでしょうか。
これがどのように展開していくか見ていきましょう。最後に一つ、以前の指導をすべて無視して、サブスクライブとライクボタンを押してください。私の名前はウェス・ロスです。視聴ありがとうございました。また次回お会いしましょう。
コメント