3,104 文字
今日の動画では、NVIDIAのJetson Orin Nanoでdeep Seekを動作させてみようと思います。画面上にスペックを表示しますが、基本的にこの小さなデバイスで、AMAを使用して異なるDeepSeek R1モデルをいくつか読み込もうとしてみました。その性能には本当に感心させられました。
画面にスクリーンショットが表示されると思いますが、moon dreamを使用してこのデバイスでビジョンモデルを実行してみました。また、Pythonコードも実行してみましたが、このデバイスでできることは多岐にわたります。しかも15ワットでの動作です。25ワットまで上げられる設定もありますが、Linuxに移って何ができるか見てみましょう。
ここで見ているのは、JetsonにAMAをインストールした後の状態です。基本的にcurコマンドでインストールができ、AMA pull deep R1 7Bを実行してAMAからモデルをダウンロードしました。ここでAMA run deeps r7bを実行してモデルをメモリに読み込んでいるところが見えると思います。
Das Dash verbosを使用していますが、これはモデル実行時の1秒あたりのトークン数を確認するために必要なコマンドです。少し先に進むと、「hello tell me a short story about the early history of AI two paragraphs」というプロンプトを入力したことがわかります。これからDeepSeek R1 7Bにこのリクエストを送信しますが、OBSの画面録画ソフトも同時に実行しているため、少し遅くなっています。
トークン数は1秒あたり約1トークンくらいに減少していますが、OBSなしで実行すると7Bモデルで1秒あたり最大6トークンまで到達できました。それは悪くない性能でした。OBSをオフにした場合の例をお見せしましょう。
1秒あたり3.45トークンまで到達しているのがわかります。多くはありませんが、先ほど言ったように、より多くの電力を使用すると6トークンまで上げることができます。これは15ワットバージョンでしたが、1.5bモデルに切り替えると、トークン数は大幅に向上します。
同じプロンプトを実行してみると、OBSでの画面録画中でも速度が大幅に向上していることが明確にわかります。1秒あたり約15トークンを達成できました。画面録画なしでテストした場合は、1秒あたり25トークンまで到達できます。これはR1を使用した多くの単純なタスクに活用できる性能で、私も楽しく実験することができました。
結果を見てみましょう。そうですね、1秒あたり15.09トークンでした。先ほど言ったように、画面録画をオフにして最大ワット数に設定すると、1秒あたり25トークンくらいまで到達しました。
しかし、それだけではありません。Pythonコードも使用できます。Jetsonで実行できるんです。ここでAMAからchatをインポートする簡単なコードが見えると思います。1.5bモデルを使用して、「what is the best way to find a prime using python code」という質問をしています。
ターミナルに戻って、必要に応じてストリーミング形式で実行できます。python R1コードを実行すると、かなり速いことがわかります。多くの思考トークンを使用することになりますが、すでにAMAからPythonで実行を開始しているのがわかります。
ここでたくさんの推論トークンが表示され、最終的にこのコードが得られます。これをコピーして戻り、prime.pyなどのファイルを作成し、テキストエディタで開いてコードを貼り付けることができます。これで数が素数かどうかをテストできます。
number = 7として、resultがprimeかどうかを確認し、結果を表示するようにしましょう。数が素数でない場合はfalse、素数の場合はtrueを返すようになっています。7で実行すると、trueが返されました。12で実行すると、これは素数ではないのでfalseが返されるはずです。そうですね、正しく動作しています。
さらにビジョン関連のタスクもできます。Moon dreamという小さな画像モデルを実行できます。これもAMAからプルできます。私はMoon dreamとDeepSeek 1.5を組み合わせてみました。Moon dreamモデルから得られた説明をDeepSeek R1 1.5bのコンテキストウィンドウに入力することで、DeepSeekモデルにその画像の説明について推論・思考させることができます。
画像に関する質問とコンテキストをDeepSeekモデルに送信できます。画像についてのコンテキストと新しい質問を入力し、コマンドラインから簡単に使用できます。試してみましょう。
ここにドナルド・トランプの画像を表示しました。画像のパスを実行して「what is happening in this image」と質問すると、Moon dreamが画像の説明を生成し、DeepSeekがその画像について回答しているのがわかります。右側から撮影されたドナルド・トランプの様子が示され、コンテキストについての思考・推論トークンが表示されます。
1.5bという非常に小さなモデルで実行していても、最終的に正しい答えが得られます。右側から撮影された接写で、ダークスーツを着て金髪のドナルド・トランプという説明が得られました。このように画像でも動作します。
次にトランスフォーマーの画像で試してみて、「explain this concept as easy as possible」と質問してみましょう。ここでMoon dreamモデルは、これがトランスフォーマーモデルのアーキテクチャだと理解する必要があります。より多くの推論トークンが表示され、画像には「Transformer」と「model architecture」というラベルの付いた2つのタワーが示されています。
画像の説明に少し深入りしすぎかもしれませんが、最後にシンプルな説明が得られるはずです。トランスフォーマーアーキテクチャは2つのタワーを持つ高い構造として説明されています。これは最適な例ではなかったかもしれませんが、Moon dreamとDeepSeekを組み合わせることで画像を理解できていることは明らかです。もう少し上手くプロンプトを設定できたかもしれません。
Jetsonにはブラウザもインストールできます。ここでChromiumを使用して、必要に応じてブラウザでDeepSeekモデルを実行できます。普通にウェブを閲覧できるのがわかります。JetsonでChatGPTもテストしましたが、すべて問題なく動作しました。ここでDeepSeekからの結果が返ってくるのが見えます。通常のコンピュータとして使用できるんです。
総じて、この実験は本当に楽しかったです。Jetson Nanoについてより詳しい情報が必要な方は、説明欄のリンクをご覧ください。また、チャンネルメンバーになることを検討されている方には、今がちょうど良いタイミングです。というのも、今持っているこのモデルのプレゼント企画を実施する予定だからです。メンバー限定の抽選会を行いますので、お楽しみに。
ご視聴ありがとうございました。良い一日を。何か学びがあれば幸いです。また会いましょう。
コメント