RTX 5090 vs DeepSeek R1 – そして私の初めてのCES体験!

3,050 文字

RTX 5090 vs DeepSeek R1 - And My First CES Experience!
Check out everything new NVIDIA unveiled at CES 2025:

今年初めてCESに参加しましたが、素晴らしい経験でした。多くのクールなテクノロジーやガジェットを見ることができ、イベント全体がAIについてだったような印象で、それは私にとって嬉しいことでした。NVIDIAが招待してくれて、ホテル代も支払ってくれました。彼らのチームに会えたことはとても素晴らしく、最高の部分は、RTX 5090をもらえたことです。今、その機械が私のすぐ横に置いてあり、実際に動かしてきました。
これから新しいDeepSeek R1思考モデル、私が初めてローカルで実行した思考モデルを5090で動かしているところをお見せしますが、それは後ほどビデオでご紹介します。まずはCESのハイライトをお見せしましょう。というのも、そこには多くの素晴らしいテクノロジーがあったからです。
まず、私の中の子供が興奮したのは、彼らが巨大な農業機器を展示していたからです。最初のダンプトラックは、そのタイヤが私より大きく、私はかなり背が高いのですが。でもそれが凄いところではありません。John Deereが展示していたものは全て完全に自律型で、カメラアレイやLiDARセンサーを完備しており、人工知能で農業産業に革命を起こしています。
もちろん、それら全てを動かしているのはNVIDIAです。Waymoも大きな存在感を示していて、自動運転車両全般がCESの一つのギャラリー、一つのセクション全体を占めていました。実際にWaymoを実物で見られたのは本当に素晴らしかったです。私の出身地であるロサンゼルスにもありますが、私は郊外の出身なので見かけることはありません。数週間前にサンフランシスコに行った時は、至る所で見かけました。
もちろん、ロボティクス企業のUnitreeもいて、彼らのドッグ型ロボットや人型ロボットを見ることができ、全般的に多くのロボットが展示されていました。
そしてNVIDIAは特別なエディターデイを開催し、約100~200人を招待して、新しいテクノロジーのプレビュー、特にRTX 5090について多くの説明がありました。しかしそれだけでなく、NVIDIAは多くのオープンソースプロジェクトを立ち上げており、私はそれを高く評価しています。
build.nvidia.comには新しいセクションがあり、そこにはブループリントがあります。これらのブループリントはESSのような、開発者が拡張できる事前構築されたアプリケーションフレームワークです。Crew AIも彼らと協力しており、ノートブックLMバージョンのようなものを完全オープンソースで提供しています。
これらのブループリントで素晴らしいのは、何でもできることです。完全にローカルで実行することも、一部をローカルで実行することも、音声にEleven Labsを使うこともできます。これらのブループリントを使って、好きなものを好きな方法で構築でき、もし望むならRTX AI PCでローカルに実行することもできます。
最初の例では、Windowsに組み込まれたデジタルアシスタントのようなものがあり、質問をすると実際にコンピュータ上でアクションを実行できます。
次のビデオでは、BlenderでComfy UIを使用する新しいワークフローを紹介しています。基本的にBlenderのオブジェクトを完全にAI生成のスキンでラップするというものです。
次のプロジェクトは本当に素晴らしく、基本的にはThe Simsゲームのようなものですが、全てのシムズが完全にAIによって制御されています。去年レビューした研究論文「Human Simulator」を覚えていますか?それを想像してください。ただし、これは自律エージェントが住む完全なシム風の3Dユニバースを持っており、ダウンロードして自分で実行することができます。
RTX 5090について彼らが教えてくれた最も興味深いことの一つは、レイトレーシングプロセスの一部に生成AIを使用しているということです。私の理解が正しければ、基本的にはフレームを一度従来の方法でレンダリングし、その後の2~3フレームは元のフレームに基づいて予測的に生成されます。これにより、より効率的になります。
RTX 5090を使用してビデオゲームをプレイする際、見ているフレームの全てがゲームエンジン自体からのものではないと考えると面白いですね。このチャンネルでよく話していますが、私はビデオゲームやソフトウェア全般の未来は予測的になると強く信じています。基礎となるゲームエンジンは持たず、CRUDデータベース上にAIを載せることになるでしょう。これは私の意見では中間段階ですが、とても興味深いと思い、皆さんと共有したいと思いました。
ご覧の通り、NVIDIAとCES全般から多くの素晴らしいものが登場していますが、ここで5090の実際の動作をお見せしましょう。
私はDeepSeek R1の2つのバージョンをダウンロードしました。どちらもRTX 5090で実行しています。RTX 5090は32GBのVRAMを搭載しており、これは消費者向けカードとしては信じられないほどです。ここにDeepSeek R1 Distill LLaMA 8B GGFがあります。これは80億パラメータのLLaMA蒸留バージョンで、5GB未満です。そして、Qwen 32B GGFもあり、これらは両方ともQ4量子化されており、320億パラメータモデルは19GB未満です。このカードでは両方とも完全なGPUオフローディングが可能です。
実際の動作をお見せしましょう。長時間考えることが分かっているプロンプトを与えてみます。「Pythonでテトリスゲームを書いて」です。これは80億パラメータのLLaMA蒸留バージョンだということを覚えておいてください。実行速度がどれだけ速いか見てください。このバージョンでは毎秒90トークンまで到達しました。ホストされているバージョンと同様に、構築する前に考えを整理し、そして構築を始めます。これはローカルで実行している割には非常に高速です。
毎秒80トークン、2200トークン、最初のトークンまで0.03秒、本当に素晴らしいですね。
次に、より大きなバージョンに切り替えてみましょう。DeepSeek R1 Distill Qwen 32Bです。同じプロンプトをもう一度与えて実行してみましょう。明らかに少し遅くなりますが、これでも非常に高速です。これは320億パラメータのモデルで、基本的に人が読める速度より速く実行されています。おそらく毎秒40~50トークン程度でしょう。繰り返しになりますが、320億パラメータモデルがRTX 5090の32GB VRAMに容易に収まっています。
これこそが重要なことです。これは私が長い間提唱してきたことで、中身を見ることができ、ダウンロードしてローカルで実行できるオープンソースモデルです。これは完全なプライバシーとセキュリティを持って、望む任意のタスクを実行できる思考モデルで、全てローカルで、全てこのRTXチップによって動作しています。
以上です。NVIDIAにCESに招待していただき、彼らのチームに会えたことに大変感謝しています。このビデオでパートナーシップを組んでいただき、ありがとうございます。このビデオが良かったと思っていただけたら、いいねと購読をお願いします。次回お会いしましょう。

コメント

タイトルとURLをコピーしました