8,260 文字
AIは日々進化しており、今週は完全に驚くべき週でした。オープンソースの動画生成AIが2つも登場しました。また、新しい3Dモデル生成AIも登場し、これまで見た中で最高のものです。さらに別の新しいAIでは、動画内のカメラとキャラクターの動きの両方をコントロールすることもできます。
今日は、本当に信じられないほど素晴らしいAIツールをご紹介します。この動画でご紹介するすべてのものは、すでにアクセス可能で、利用可能で、さらにオープンソースです。もしクリエイティブAIがどこに向かっているのか、そして他の誰よりも先にどのように活用できるかを本当に理解したいなら、最後までご覧ください。
始める前に、動画が気に入ったら、まだであればチャンネル登録をするか、いいねをお願いします。それがチャンネルの成長を大きく支援することになります。また、ニュースレターも設定しましたので、登録するだけで月曜から金曜まで最新情報の要約をメールでお送りします。
それでは、さっそく今日ご紹介する最初のツールから始めましょう。まず、このAIは非常に強力です。Live CCと呼ばれるもので、このAIは基本的にあなたの動画や映像を見て、スポーツ実況者のようにリアルタイムでコメントを生成することができます。
実際に何を言っているのか理解してもらうために、こちらの例をご覧ください。これがこのAI、C Speedの使用例です。すぐに一時停止しますが、もし理解できなかった場合は、ユーザーがリアルタイムで録画し、ボードにテキストを書いています。
そしてAIはこの動画を見て、見ているものをコメントします。これは完全に驚くべきことで、リアルタイムです。ここにモデル名のAO Live CCがあります。70億のパラメータを持ち、非常に小さいので、どんなPCでも速く実行できます。次の例を見てみましょう。
これは彼らがこのAIに与えた実際の動画で、プロンプト（指示）として「2025年のプレーオフのゲーム1について解説して」と伝えています。結果をご覧ください。英語なので10分間流し続けることはしませんが、下に字幕が表示されているはずです。
どう思いますか？印象的ではありませんか？試合中にAIが言っていることを見てください。「グリーン・ブルックスン」などと言っています。かなり印象的です。ビデオストリームで見ているものをリアルタイムで解説するAIがあります。別の例を見てみましょう。ここではAIに「動画で見ているものを説明してください」と依頼しています。
すでに見えるのは、彼らが与えた動画のタイトル「水で損傷したコンピュータの修理方法」です。このように、英語なので全部は流しませんが、原理は理解できたと思います。AIは本当に動画を解説する実況者のように振る舞います。
ここでは、ナレーションとして本当にうまく機能しています。このような動画はYouTubeでよく見かけますね。本当に印象的です。そして彼らは他の例も示しています。ここでは例えば、AIにリアルタイムのゲームを、画面に表示されるすべての詳細を本物のプロ実況者のように解説するよう依頼しています。
最後の例では、イーロン・マスクのFalcon 9の打ち上げについて解説するよう依頼しています。お聞きのように、音声は超自然的でもダイナミックでもありません。それは正確でリアルタイムな音声に過ぎません。しかし、次のステップを想像してみてください。
より表現力豊かでダイナミックな音声モデルを接続すれば、スポーツ実況者や類似の職業を完全に置き換える可能性があることは明らかです。実際、ELLEのような本当にリアリスティックな声を作成するAIに接続するだけでいいのです。さらにフランス語の声も作成できます。
とても興味深いですね。このAIの技術的詳細にはすべて触れませんが、このモデルを訓練した方法も非常に直感的です。ここに彼らのAIのプレゼンテーションスライドがあります。彼らはスポーツの試合と解説などの関連動画を大量に与えただけでなく、基本となる動画のトランスクリプトも提供しました。これらすべてのデータがこのAIの訓練に使用されています。そして大量の訓練の後、
AIは今、あなたが見たように動画を見て、リアルタイムでナレーション付きのトランスクリプトを生成することができます。最も興味深いのは、彼らがモデル、トレーニングデータ、トレーニングコードなど、すべてを公開していることです。
上部にあるのをご覧ください。このような技術ではかなり珍しいことです。すべてUGIN Faceに保存されており、ここでGitHubリポジトリをクリックすると、彼らのリポジトリに到達し、このモデルをダウンロードして自分のコンピュータで使用する方法についてのすべての指示が含まれています。
はい、自分のコンピュータで使用することは可能です。私が言ったように、これは非常に小さなモデルなのでメモリもほとんど必要ありません。多くの人々がこれを実行できるでしょう。このツールについてもう少し掘り下げて、また報告します。
おそらくコース内の生徒たちのためにチュートリアルを作成しますが、それはまた別の機会にしましょう。この論文へのリンク、そして動画で見るすべてのものへのリンクは説明欄に入れておきますので、自分で確認できるようにします。
次に、もう一つの非常にエキサイティングな新機能をご紹介します。中国の巨人TencentがHunyan 3D 2.5を発表しましたが、これは私がこれまで見た中で断然最高の3Dモデル生成AIです。現時点では、ここにあるオンラインプラットフォームを通じてのみアクセスできます。
まだローカルでダウンロードできるようにオープンソース化されていませんが、彼らは以前のHuyan 3Dなど他のすべてのモデルをオープンソース化しているので、これもすぐに公開されると思います。いずれにせよ、今すぐ試すことができます。
そのためには、Tencentのファン3Dプラットフォームにアクセスするだけです。先ほど言ったように、リンクは説明欄に入れておきます。モデルをテストするには、ここで登録できます。このページにアクセスしたら、ここをクリックします。はい、サイトは中国語ですが、
WeChatまたは中国人が多く使用する中国のプラットフォームであるQでログインするか、メールで登録することもできます。ここの封筒をクリックすると、登録画面に進みます。中国語ですが心配しないでください、ブラウザで全て翻訳できます。
Firefoxを使用している場合は、上部のメニューをクリックし、「翻訳する」をクリックします。中国語からフランス語への翻訳を検出し、「翻訳」をクリックすると、可能な部分が翻訳されます。Chromeを使用している場合は、ページ上で右クリックすると「このページを翻訳する」オプションがあります。
メールを入力する必要があります。セカンダリーメールを使用することをお勧めします。万が一のために。メールアドレスを入力し、「確認コードを取得」をクリックします。中国に賛成でも反対でもありませんが、常に注意する方が良いです。セカンダリーメールの使用をお勧めします。
登録後、このページにたどり着きます。「体験を開始」をクリックすると、Yuan 2.5 3Dのインターフェースに進みます。これは本当に強力です。翻訳は完璧ではありませんが、基本的にこのタブは3Dモデルを作成するためのプロンプトを入力する場所です。
また、自分で画像をアップロードするための別のタブもあります。この動画のために、Link AIで作成した小さな画像を用意しました。どの動画生成AIでも作成できます。このスタイルの小さな孫悟空が欲しかったのです。もちろん、LeonardoやChat GPTなど、どのAIを使用しても生成できます。
次に、ここでモデルを選択します。新しく登場した2.5を選択するよう注意してください。そして、PRBマップの生成オプションをチェックできます。これについては有効のままにしておきますが、基本的には3Dモデルを複数の部分に分解します。理解できるでしょう。「生成」をクリックします。
すぐに読み込みが始まります。この生成を完了するには7分かかると言われています。そして、これが私たちが得るものです。このモデルには本当に感銘を受けていると言わなければなりません。正直に言って、これまで使用した画像から3Dモデルを生成する最高かつ最も詳細なモデルです。
どれだけリアルに見えるか見てください。ただただ驚くべきものです。私は動画生成AIで作った画像を与えました。AIには背後に何があるか意識がありませんでした。すべてを生成しました。単に3Dフィギュアを作りました。見てください、すべてがどれほどリアルに見えるか。ローブ、顔、髪、すべてが素晴らしいです。すべての細部を捉えることができ、かなり印象的です。3Dモデルの分野に詳しくない方は「何を言っているの？そんなに素晴らしくない」と思うかもしれませんが、実際はそうではありません。
ここに後で利用できる3Dモデルがあります。これはこの分野の人々が行うことです。見てください、基本モデルがあります。ここをクリックすると、Blenderやほかのソフトウェアにアップロードして作業できる白いモデルがあります。
ゲームに入れたり、3Dプリンターで印刷したりできます。つまり、3Dモデルなので何でもできます。ここにはアルベドもあります。見てください、これはモデルの色を定義します。そして、他のテキスチャを追加したい場合のための3Dモデルのマップもあります。
テクスチャを戻しましょう。右側には、3Dモデルの幾何学的スタイルの指定など、選択できる様々なパラメータがあります。参照図を再選択できます。これが私が送信した写真です。背後に何があるか知識がなかったことに注意してください。
シーンを変更したり、ライトの向きを変更したりすることもできます。背景に設定すると、ここに光が見え、このように光を変更できます。これは本当に強力です。この分野にいる方は驚くでしょう。
ダウンロード形式はオブジェクト、FBXがあります。「ダウンロード」をクリックするだけです。上部に、多くの3Dモデルを連続して作成した場合のライブラリがあります。ユーザーが3Dモデルで作成した例をいくつか紹介します。
例えば、この机は、ゲーム、印刷、シーンのレンダリングなど、様々な用途に使用できます。このモデルを知らない方のために言うと、これは情報処理的には至る所に置くことができます。このようなモデルを販売する多くのサイトや人々がいます。
例えば、ここでは誰かがスイカの3Dモデルを販売しています。見てください、5ドルです。そのようなサイトは本当にたくさんあります。非常に儲かる市場です。一部のモデルは非常に高価で、より詳細なものほど高くなります。ここでは、Chat GPTにアクセスして画像を依頼し、その画像をここに与えて3Dモデルを作成するだけです。
無料で印象的です。間違いなく、これは私がこれまで見た中で最高の画像からの3Dモデルジェネレーターです。ぜひ試してみることをお勧めします。余談ですが、私の生徒の一人で私のコースを購入した方は、このようなフィギュアの3Dショップを持っています。彼はオンラインで販売しており、3Dプリンターを持っているので、すでに印刷されたフィギュアを販売しています。
しかし印刷するためには3Dモデルが必要で、それが私たちが見てきたものです。例えば、彼はこの3Dフィギュアをすでに印刷して購入者に送ることができます。私たちは一緒にこのツールを見て、この新しいAIでビジネスをさらに発展させる方法を考えました。これは本当に多くの可能性を開くでしょう。
はい、このツールは本当に有望です。もしこの分野にいるなら、このツールをぜひ試してみてください。前述のように、彼らはまだバージョン2.5をオープンソース化していないので、まだローカルでコンピュータ上で使用することはできません。
彼らのプラットフォームを通じてのみ利用可能ですが、Tencentの過去のオープンソース化の実績を考えると、長い間待つ必要はないでしょう。もちろん、最新情報をお知らせします。
次に、Uni 3Cと呼ばれる非常に便利な別のAIをご紹介します。これはタイトルの略称です。このAIと新しい技術は、アリババの人工知能研究所から提供されました。
ご存知かもしれませんが、彼らはAIに全力を注いでおり、多くのオープンソース機能を提供しています。このチャンネルをフォローしていれば、このような多くのツールをすでに見ているかもしれません。この種の研究所の力を理解し始めていると思います。
もちろん、中国とアメリカの間で激しい競争が繰り広げられています。毎日、あらゆる場所から進歩が生まれています。とても興味深いことです。いずれにせよ、このAIでは、カメラの動きと動画内のキャラクターの動きの両方を制御しながら動画を生成することができます。
まずはカメラの動きだけを制御する例を見てみましょう。これがここで示されているものです。フルスクリーンにします。画像を与えると、カメラだけを制御します。動画を作成します。例えば、これらは与えた画像の周りを回転する動画です。
はい、画像を与えると、AIがその画像を3D、3Dプランに変換し、このような動画にします。他の例をご覧ください。注目すべきは、ユーザーがAIに依頼するとき、この3D空間内のカメラの軌道を指定しているということです。
そして、すべてを組み立てた後、AIはそのカメラの軌道に基づいて動画を生成します。カメラの動きの最後の例をもう一つご紹介します。冒頭で述べたように、カメラだけでなく、動画内でキャラクターがどのように動くかも正確に制御できます。
必要なのは、動いている人の参照動画を組み込むことだけです。この例をご覧ください。この場合、左上隅のダンスしている女性の動画が参照動画になります。このようなビデオを録画します。先ほど言ったように、AIはこの動画から3Dシーンを作成します。
つまり、右から左へです。これによって、画像から3Dシーンが得られます。そこから、AIは中央に見える多色のキャラクターである動きを決定します。これは単に人の動きの分解です。
AIはここでのダンスの動きを検出します。この動きを獲得すれば、準備完了です。他の画像と他のキャラクターを与えると、画像中のキャラクターは最初に見た人と全く同じ方法でダンスします。
ここで3つの具体的な例が示されています。右側には漫画のスタイルの例があります。下には実際の人がダンスしている別の動画があります。彼らはダンスする準備ができた人の画像を与えました。
AIを通過した後、最終結果では入力動画と全く同じ動きでダンスしています。最後の例は右下にあります。もちろん、カメラとキャラクターの両方を制御できます。それがここで行われていることです。
これが入力動画と入力動きで、入力動画と全く同じ動きを再現する3つの画像があります。もう一つの少し複雑な例を見てみましょう。面白いのは、この動画を入力として与え、右側の動画は最初の例のものだとわかるかもしれません。
先ほどダンスしていた女性が、彼女が実際にはやったことのない回転をしています。すべてAIによって生成されています。もちろん、他の例も示されています。説明欄にリンクがありますので、自分で確認してみてください。
簡単にどのように機能するかを説明したいと思います。10分もかけませんが、1分で十分でしょう。基本的には、先ほど言ったように、まず動画のシーンを定義する参照画像を入力します。次に、AIはこの画像を3Dポイントクラウドに変換します。先ほど見た黒い背景の動画のようなものです。
これは基本的に画像から3D情報を抽出して、3Dシーンがどのように見えるかを理解します。3Dポイントクラウド（ここでは「point close」と呼ばれている）ができたら、エンコーダーに送ります。並行して、ユーザーはプロンプト、AIへのリクエストを入力します。
基本的に、ユーザーはこの3D空間内でのカメラの軌道、つまり動画内でカメラがどのように動くかを指定します。その後、すべてが潜在空間などに統合されます。ここから技術的な部分に入ります。これらすべてを知る必要はなく、本当に数学的なものです。
その後、生成された動画が出力されます。もしこの分野にいるなら、科学論文がArxivにありますので、詳細を調べることができます。この技術は、現在最高のオープンソース動画モデルだと思われるアリババのOneモデルをベースの動画生成器として使用しています。
とても興味深いですね。私もこれを試して、また報告するかもしれません。ご覧のように、クリエイティブAIは本当に新たな段階に入っています。もはや技術的なデモンストレーションだけではなく、コンテンツの作成方法、シーンのアニメーション方法、3D世界の構築方法などを明らかに変えています。
驚くべきことに、今日見たこれらのツールはすでにアクセス可能です。大企業や研究所だけのものではありません。今日からすぐにテストし、使用し、これらを基に構築することができます。クリエイティブAIや一般的なAIの最先端に留まりたい場合は、チャンネル登録とニュースレターへの参加を忘れないでください。
ニュースレターでは、ここで必ずしも紹介していないさらに多くのプロジェクト、ツール、ニュース、分析を共有しています。Twitterアカウントをお持ちの方は、ぜひ来てください。そこでは本当に一分一分何が起きているかをカバーしています。多くのことが起きており、常に動いているからです。
いずれにせよ、すべてのリンクは動画の説明欄にあります。AIコースへのリンクもあります。AIの使い方を教えています。このようなツールだけでなく、本当に基礎から始めて、すべてのAIツールを完全に習得します。私がAIコースとこのYouTubeチャンネルを構築した理由はまさにこれです。
AIの最新の進歩を共有し、この革命、現代の新しい産業革命にあなたを連れて行くためです。いつも言っていますが、私はAIを教えています。曖昧なマスタークラスではなく、多くのAIを含む非常に具体的なツールボックスを提供しています。
これは本当にクリエイター、好奇心旺盛な人、野心的な人、退職者、すべての人のために作られています。これは本当にすべての分野に触れる最初の技術です。想像以上です。その中では、ストーリーテリング、マルチモダリティ、すべてのAIモデルの使用、画像生成、バイブコーディング、エージェント作成などについて話します。すべてをカバーし、定期的に更新しています。AIは速く進化しているからです。ツールは常に最新である必要があります。
この動画で見たことは、コースでさらに詳しく説明しています。基本からすべての方法を教えています。例えば、製品の配置方法などです。これはコースで提供しているレッスンから取り上げた例です。
現在、コース内には1,000人以上がおり、次のアップデートはさらに進化します。コースを購入した方、おめでとうございます。AIの学習をさらに深めていきます。
まだの方は、今が行動するときです。リンクは動画の下、説明欄またはピン留めされたコメントにあります。以上です。この動画が気に入ったら、いつものように「いいね」を押して、まだであればチャンネル登録をし、身近な人と動画を共有してください。
それがチャンネルをサポートする最良の方法の一つです。今日はこれで終わりです。明日のAIビジョンアップデートでお会いしましょう。この人工知能分析に興味があり、この魅力的な分野の進歩についての理解を深めたい場合は、人工知能に特化したx.comページをご覧ください。
そこでは、私たちの日常を変革し、私たちの未来を形作る人工知能の最新のイノベーションと具体的なアプリケーションについての詳細な分析を見つけることができます。
コメント