今日私たちが知っているAIは実際かなり愚かです。はい、これにはChatGPT、Stable Diffusion、Soraなど、現在の最先端モデルすべてが含まれます。それらはまだ非常に無能で非効率です。そして、AIの次世代は今あるものとは全く異なるものになるでしょう。
この動画では、現在の世代がなぜそんなに限定的なのか、そしてAIの次世代がどのようなものになるかを説明します。
まず、私たちが今日知っているAIの基本的なメカニズムを理解する必要があります。すべてのAIは、人間の脳に基づいて設計されたニューラルネットワークをベースにしています。これは基本的に、情報が一方の端から他方の端へと流れるノードのネットワークです。
これからニューラルネットワークの仕組みについて、非常に簡略化した説明をします。AIの技術的な背景がない人向けの説明なので、AIの経験がある方はこのセクションをスキップしてもらって構いません。
ニューラルネットワークの各点はノードまたはニューロンと呼ばれ、ノードの各ラインはレイヤーと呼ばれます。ディープラーニングやディープニューラルネットワークという用語を聞いたことがあるかもしれません。これは基本的に、多くのレイヤーを持つニューラルネットワークのことで、それゆえ「深い」のです。
各ノードは、次のレイヤーにどれだけの情報が流れるかを決定します。繰り返しますが、これは単純化した説明です。重みやバイアス、活性化関数など、多くの設定がありますが、基本的にこのニューラルネットワークを、次のレイヤーにどれだけの情報が流れるかを決定する一連のダイヤルやノブと考えてください。
簡単な例を挙げましょう。画像が猫か犬かを判断するように設計されたこのニューラルネットワークがあるとします。入力として、猫か犬の画像を与えます。この画像はデータに分解され、トークンとも呼ばれます。それがこのニューラルネットワークに送り込まれます。最終的に、データがこれらのレイヤーをすべて通過した後、最後のレイヤーに到達し、その画像が猫なのか犬なのかを結論づけます。
では、モデルのトレーニングについてはどうでしょうか？それはどのように機能するのでしょうか？ニューラルネットワークは、何かを学習するために通常数百万回のトレーニングラウンドを経る必要があります。
1回のトレーニングがどのように見えるかの例を挙げましょう。犬の画像を入力するとします。そしてこの画像はデータに分解され、このニューラルネットワークを流れ、「これは犬です」という答えを出します。その場合、正解を得たので、これらのダイヤルやノブ（重みとも呼べます）は正しく設定されている可能性が高いです。正解を得た場合、これらの重みをさらに調整する必要はありません。
しかし、間違えたらどうでしょうか？これは猫だと言ったらどうでしょう？その場合、ペナルティが課されます。このペナルティにより、将来このペナルティが最小化されるように、このニューラルネットワークの重みが更新されます。具体的には、重みは最後のレイヤーから次のレイヤー、そしてその次のレイヤーへと、バックプロパゲーションと呼ばれるプロセスで更新され、最終的に最初のノードレイヤーに到達します。
通常、1回のトレーニングでは十分ではありません。そのため、ネットワークは数百万回のトレーニングラウンドを経ます。その間、エラーによって発生するペナルティを最小化するために重みが少しずつ調整されます。これが繰り返され、最終的にこのニューラルネットワークが任意の画像が猫か犬かを非常に正確に判断できるようになるダイヤルとノブの構成に到達します。
これが、私たちが今日知っているAIモデルがどのようにトレーニングされるかです。例えば、GPTは基本的にニューラルネットワークですが、これらのダイヤルとノブは自然言語理解のために最適化されています。Stable Diffusionは別のニューラルネットワークで、ダイヤルとノブは画像生成のために最適化されています。
繰り返しますが、これは非常に単純化した説明です。ニューラルネットワークのアーキテクチャ、つまり基本的な設計も非常に重要です。例えば、いくつのレイヤーを持つべきか、各レイヤーにいくつのノードを持つべきかなどです。また、大規模言語モデル用のTransformerモデル、時系列データ用のLSTM、物体検出と画像分類用の畳み込みニューラルネットワークなど、多くの異なるアーキテクチャがあります。
しかし、要するに、これらのAIモデルの背後にあるバックボーンは、ただのニューラルネットワークで、仕事を正確に行うためにダイヤルとノブが事前に設定されているだけなのです。
さて、現在のAIの仕組みを理解したところで、この最大の限界を見てみましょう。
まず、モデルのトレーニングが終わると、重み、つまりこれらのダイヤルとノブの値は固定されます。ユーザーがChatGPTに何かを尋ねたり、Stable Diffusionを使って画像を生成したりしても、これらのダイヤルとノブの値は変わりません。言い換えれば、今日私たちが持っているすべてのAIモデルは固定されているのです。
これを、学習できない、賢くなれない脳と考えてください。例えば、GPT-4は学習を続けて時間とともにどんどん賢くなることはできません。より賢いモデルが欲しければ、GPT-40やGPT-5、あるいは何と呼ぶにせよ、新しい世代のGPTをトレーニングする必要があります。
Stable Diffusionも同様です。例えば、Stable Diffusion 2は、使えば使うほど賢くなって、より良い画像を生成できるようになるわけではありません。改善するためには、現在新しい世代、つまりStable Diffusion 3をトレーニングする必要があります。そしてStable Diffusion 3のトレーニングが終わったら、それがその時点での最高の賢さになります。それでも十分でないと思えば、新しいモデルをトレーニングする必要があります。
つまり、今日私たちが持っているすべてのAIモデルは、その知能と能力において固定されているのです。繰り返しますが、これを成長を止め、学習や賢くなることができない脳と考えてください。
しかし、これは人間の脳の働き方ではありません。神経可塑性という用語があります。これは、脳が新しい環境に適応したり新しいことを学んだりするために、時間とともに新しい神経接続を形成することで自己再編成や再構成ができることを指します。
そして、それこそが次世代のAIができることで、これについてはすぐにお話しします。
しかし、現在のAIモデルにはもう一つ大きな限界があります。それらは非常に非効率で、計算集約的なのです。
ご存知の通り、AIは人間の脳のアーキテクチャに基づいて設計されています。そこで、人間の脳の効率と比較してみましょう。
現在、GPT-3は1,750億のパラメータを持っています。これは数千のGPUを使って数週間から数ヶ月かけてトレーニングされました。GPT-3のトレーニングに必要な総電力は約1,287メガワット時と推定されています。これはアメリカの約1,500世帯の月間電力消費量に相当します。
GPT-3が完成したのは2020年、つまり4年前だということを覚えておいてください。最新バージョンのGPT-4はクローズドソースなので、そのアーキテクチャやトレーニングにかかった時間は実際にはわかりません。しかし、約1.76兆のパラメータを持っていることはわかっています。これはGPT-3の10倍です。
パラメータサイズが大きくなるにつれて、必要な計算量は指数関数的に増加することを覚えておいてください。ざっと計算すると、GPT-4のトレーニングには約41,000メガワット時のエネルギーがかかった可能性があります。これは米国の約47,000世帯の1ヶ月分の電力を賄えるエネルギー量です。
GPT-4やClaude 3、Gemini 1.5 Proなど、今日私たちが知っている最先端モデルを作成するために使用される計算能力は、大規模なデータセンターと大量のエネルギーを必要とします。そのため、テクノロジー大手は計算能力が主な制限要因であることを知っているので、さらに大規模なデータセンターへの投資と構築に躍起になっているのです。
それこそが、MicrosoftとOpenAIが世界最大のデータセンターを建設するために1,000億ドルのStargateプロジェクトを計画している理由なのです。これらはすべて、より多くの計算能力のためです。
これを人間の脳と対比してみましょう。ある人々は、人間の脳は少なくともいくつかの点ではGPT-4よりもまだ知的だと言うかもしれません。人間の脳は1年間でわずか175キロワット時のエネルギーを使用し、このエネルギーは私たちが食べる食物からカロリーの形で得ています。
つまり、GPT-4のトレーニングには、人間の脳が1年間で使用するエネルギーの約234,000倍のエネルギーが必要だと推定されています。言い換えれば、GPT-4を1回トレーニングするのに必要なエネルギーは、人間の脳を234,000年以上動かすことができるのです。
この比較をしたのは、今日のAIモデルに根本的に何か問題があることを示すためです。それらは非常にエネルギー効率が悪く、大量の計算能力を必要とします。人間の脳の効率には遠く及びません。
したがって、次世代のAIはこの効率の問題も解決しなければなりません。そうでなければ、持続可能ではありません。
要約すると、現在のAIモデルの主な限界は、第一に、トレーニング後に改善や学習をさらに行うことができず固定されていること、第二に、非常にエネルギー集約的で非効率であることです。これらが現世代のAIの最大の2つの問題です。
さて、次世代に入りましょう。まだそこには到達していませんが、現在議論され開発中のいくつかの可能性のあるアーキテクチャがあります。
最初のアーキテクチャは、液体ニューラルネットワークと呼ばれるものです。
液体ニューラルネットワークは、人間の脳の柔軟性や可塑性を模倣するように設計されています。人間の脳は非常に柔軟で、時間とともに自己再編成や再構成ができます。この能力により、脳は新しい状況に適応したり、新しいスキルを学んだり、怪我や病気を補償したりすることができます。
例えば、新しいことを学ぶと、脳は構造的にも機能的にも変化して新しい情報に適応します。新しい言語を学ぶと、左半球の灰白質の密度が増加するなど、脳の構造と機能に変化が生じる可能性があります。
脳は怪我からの回復のために自己再構成することもできます。例えば、外傷性脳損傷後、理学療法や認知訓練は失われた機能を取り戻すために脳を再配線するのに役立ちます。
また、視覚や聴覚などの感覚を失った人の場合、脳はその損失を補うために自己再編成し、他の感覚をより鋭敏にします。
この柔軟性、この可塑性こそが、液体ニューラルネットワークが持つように設計されているものです。液体ニューラルネットワークはリアルタイムで新しいデータに適応できます。これは、新しい入力を受け取るにつれてニューラルネットワークの構成が変化する可能性があることを意味します。そのため「液体」と呼ばれるのです。このネットワーク内の接続やダイヤルとノブは流動的で、時間とともに動的に変化することができます。液体ニューラルネットワークは、新しい情報を取り入れながら、学習したことを保持することもできます。これは、私たちの脳が新しいことを学びながら古い情報を覚えておくことができるのと似ています。
液体ニューラルネットワークの仕組みは次のとおりです。従来のニューラルネットワークと同様に、3つの主要な構成要素があります。まず、入力データを受け取る入力層があります。しかし、中間にはこの液体層、別名レザーバーがあります。これが液体ニューラルネットワークの核心部分で、基本的に大規模な再帰型ニューラルネットワークです。
これを水の入った大きなボウルと考えてください。各スプラッシュが波紋を作り出します。これらの波紋は、入力に反応するこのネットワーク内のニューロンです。レザーバーは、入力データを高次元表現（レザーバー状態と呼ばれる）に変換する動的システムとして機能します。このレザーバーの豊かなダイナミクスと変換が、入力データの複雑な時間パターンを捉えます。
最後に出力層があります。この層はレザーバー状態を受け取り、リードアウト関数と呼ばれるものを使用して、それらを望ましい出力にマッピングします。平易な言葉で言えば、これはレザーバー内の波紋を見て、それらが何を意味するかを理解しようとする層です。レザーバーからの動的パターンを取り、それらから予測や決定を行います。
液体ニューラルネットワークの重要な側面は、このレザーバー層が学習プロセス全体を通じてトレーニングされないままであることです。出力層だけがレザーバー状態を目標出力にマッピングするようにトレーニングされます。言い換えれば、これらの波紋が何を意味するかを理解するためにです。
そして、このレザーバーが時間を通じて流動的で柔軟なままであること、つまり値が固定されていないことにより、この液体ニューラルネットワークは基本的に新しいデータに適応し、新しいことを学ぶことができるのです。
液体ニューラルネットワークのトレーニング方法は次のとおりです。レザーバー内のニューロン間の接続は、開始時にランダムに設定されます。これらの接続は通常、同じままで、トレーニング中に変化しません。
次に、入力層にデータを供給します。このデータがトークンに分解されてレザーバー層に到達すると、レザーバー内のニューロンが反応し、水中の波紋のように複雑なパターンを作り出します。
このように入力データが波紋を作り出すと、基本的にはレザーバー内で時間とともに作り出されるパターンを観察し分析します。それがリードアウト層の役割です。パターンを認識することを学習するのです。「あぁ、これがこのタイプの波紋を引き起こし、あれが別のタイプの波紋を引き起こしたのだな」というような感じです。
そして最終的に、多くのトレーニングラウンドを経て、リードアウト層は観察されたパターンに基づいて正確な予測を行うことができるようになります。
再度注意してほしいのは、リードアウト層だけがトレーニングされることです。これはより単純で速いです。なぜなら、レザーバー層では何も調整しないからです。これは、従来のニューラルネットワークと比べてはるかに迅速で、より少ない計算能力で済みます。
なぜなら、今日私たちが知っているニューラルネットワークでは、隠れ層を含むすべての重みがトレーニング可能だからです。これは最適化するパラメータがより多いことを意味し、トレーニング時間が長くなり、計算要件が高くなります。
しかし、液体ニューラルネットワークでは、トレーニング中にレザーバーの重みを調整しません。リードアウト層だけがトレーニングされます。これにより、最適化する必要のあるパラメータが少なくなるため、トレーニング中の計算負荷が大幅に削減されます。
さらに、より少ないパラメータを最適化するだけでよいため、トレーニングがはるかに速くなります。これらの液体ニューラルネットワークは、最適な状態に収束するのがはるかに速いのです。
そして、データを供給するにつれて重みと構成が動的に変化するこのレザーバーがあるため、液体ニューラルネットワークは、固定された重みと接続を持つ従来のニューラルネットワークよりもはるかに小さくなる可能性があります。
これにより、はるかに効率的な学習と推論が可能になります。例えば、MITの研究者たちは、わずか20,000のパラメータを持つ液体ニューラルネットワークを使用してドローンを操縦することができました。これは、1兆以上のパラメータを持つことが多いGPT-4などの最先端AIモデルと比べると非常に小さいのです。
20,000のパラメータと1兆以上のパラメータを比較してみてください。これらのより小さなサイズは一般的に、より速い推論とより低い計算要件に変換されます。
液体ニューラルネットワークはまた、はるかにメモリ集約度が低いです。再度言いますが、レザーバーの重みをトレーニングしないため、トレーニング中のメモリ使用量は、すべてのレイヤーの勾配とパラメータをメモリに保存する必要がある従来のニューラルネットワークと比べてはるかに少なくなります。
液体ニューラルネットワークは、そのダイナミックなレザーバーのおかげで、特に時間的データの処理に優れています。そのため、複雑な時系列データを含むタスクで優れた性能を発揮します。
さて、これらの液体ニューラルネットワークが実際にどのように現実世界で応用できるのか疑問に思うかもしれません。いくつかのユースケースを紹介しましょう。
私たちが完全に自律的なAIロボットの構築を急ぐ中、これらのロボットは現実世界に展開され、しばしばトレーニング中に見たことのない状況に遭遇する可能性があります。例えば、捜索救助ミッションでは予測不可能な環境があるかもしれません。しかし、液体ニューラルネットワークを用いれば、これらのロボットは変化する条件に適応し、その場で新しいタスクを学ぶことができます。
最終的には、家事や他のタスクを手伝う自律型ロボットが私たちの家にいることになるでしょう。しかし、あなたには服をたたんだり、洗濯をしたり、料理をしたりする特定の方法があるかもしれません。そして、そのロボットはそれらの方法でトレーニングされていないかもしれません。
従来のニューラルネットワークでは、これらのロボットは展開後に新しいスキルを学ぶことができません。しかし、人型ロボットに組み込まれた液体ニューラルネットワークがあれば、あなたが教える新しいタスクを学ぶことができ、このロボットはあなたにとってはるかにパーソナライズされたものになります。
そして、自動運転もあります。自動運転車が最終的に未来になることは間違いありませんが、現在の技術はまだ、特に挑戦的な環境や新しい条件下では十分に機能しません。これもまた、従来のニューラルネットワークがトレーニングされたデータに対してのみうまく機能し、新しい環境に適応できないためです。
しかし、液体ニューラルネットワークを用いれば、自律車両はセンサーデータから継続的に学習・トレーニングし、それに応じて行動を調整することで、複雑で動的な環境をナビゲートすることができます。常にトレーニングを行い、時間とともに改善し続けるのです。
前述したように、液体ニューラルネットワークはしばしば再帰的接続を組み込んでいるため、時系列データの処理に適しています。そのため、天気予報や株式取引などに適しています。
株式市場は常に変化するトレンドやサイクルに満ちています。そのため、一つの固定されたアルゴリズムや公式で市場に勝つことは不可能に近いです。しかし、液体ニューラルネットワークは常に変化するデータに適応できるため、利益を最大化するために取引戦略をリアルタイムで最適化することができます。
言い換えれば、最新の市場データをこの液体ニューラルネットワークに継続的に供給し、このデータに適応するようにその構成をリアルタイムで変更して、利益を最大化するのに役立てることができるのです。
もう一つのユースケースは医療です。液体ニューラルネットワークはウェアラブルデバイスで使用され、患者の状態の変化に適応しながらリアルタイムで患者をモニタリングし、重大になる前に潜在的な健康問題を予測することができます。
サイバーセキュリティでは、液体ニューラルネットワークはネットワークトラフィックやユーザーの行動から継続的に学習し、アクセス制御ポリシーを適応させ、異常や不正アクセスの試みを検出することができます。
さらに別のユースケースはNetflixなどのストリーミングサービスです。液体ニューラルネットワークを使用して、各ユーザーの視聴習慣や好みに適応し、よりパーソナライズされたコンテンツ推奨を提供することができます。
スマートシティ管理も別のユースケースです。例えば、液体ニューラルネットワークは交通パターンから学習し、交通信号をリアルタイムで最適化して、渋滞を減らし効率を向上させることができます。
エネルギー管理も非常に関連性があります。スマートグリッドは液体ニューラルネットワークを使用して、消費パターンに適応しながら、電力の供給と需要をリアルタイムでバランスを取り、効率を向上させ、コストを削減することができます。はい、続けます。
しかし、液体ニューラルネットワークは有望に見えるものの、いくつかの限界があります。これはニューラルネットワークの分野では比較的新しい概念であり、それに関する研究はまだ初期段階にあります。より伝統的なアーキテクチャと比較すると、液体ニューラルネットワークは連続的なデータストリームを処理し、その場で適応する能力など、有望な理論的利点を示していますが、大規模での優位性を示す実世界の結果はまだ不足しています。多くの研究者は、液体ニューラルネットワークに多大な努力を投資する前に、より説得力のあるベンチマーク結果を待っている可能性があります。
また、前述したように、液体ニューラルネットワークは特に時間的またはシーケンスデータに適しています。そのため、猫や犬の画像を識別するなど、時間を含まないタスクに対しては、従来のニューラルネットワークの方が実際により効果的で実装が簡単かもしれません。
また、このレザーバー層内のダイナミクスは非常に複雑で解釈が難しい場合があります。これにより、レザーバーが入力をどのように処理しているかを理解することが困難になり、最適なパフォーマンスのために微調整することも難しくなります。
最後に、従来のニューラルネットワークと比較して、液体ニューラルネットワークの標準化されたサポートや確立されたフレームワークが不足しています。これにより、実装や実験がより困難になる可能性があります。
結局のところ、液体ニューラルネットワークはまだ非常に初期の概念であり、活発な研究分野です。大規模なデータセットで再トレーニングして新しい情報を学習する必要がある従来のニューラルネットワークとは異なり、液体ニューラルネットワークは新しいデータの各ピースで段階的に知識を更新できます。これは、時間とともに潜在的に無限に賢くなる可能性のある、柔軟で適応性のあるモデルを提供します。
さて、液体ニューラルネットワークが次世代AIとなる唯一の可能性ではありません。従来のニューラルネットワークよりもさらに人間の脳を模倣するように設計された別のタイプのニューラルネットワークがあります。これが、スパイキングニューラルネットワークです。
これらは、離散的なスパイクまたは活動電位を使用して通信する脳内のニューロンの方法に密接に触発されています。人間の脳では、基本的にニューロンのネットワークですが、各ニューロンは入力を受け取ったときに次のニューロンセットに即座に発火するわけではありません。代わりに、入力は特定の閾値まで蓄積され、その閾値を超えると次のニューロンセットに発火します。そして発火後は静止状態に戻ります。
スパイキングニューラルネットワークはこの動作を模倣するように設計されています。その仕組みは次のとおりです。アーキテクチャは従来のニューラルネットワークとかなり似ていますが、各ニューロンは他のニューロンからの信号またはスパイクを受け取るのを待ちます。これらのスパイクを小さな電気パルスのようなものと考えてください。
画像や音などの入力データは、このニューラルネットワークを通過するスパイクに変換されます。例えば、大きな音はより多くのスパイクを生成し、静かな音はより少ないスパイクを生成するかもしれません。
ネットワーク内の各ニューロンは入ってくるスパイクを収集します。水滴を集める桶を想像してください。より多くのスパイクが入ってくると、桶は満たされていきます。ニューロンが十分なスパイクを受け取ると、言い換えれば特定の閾値に達すると、次のニューロンセットにスパイクを発火します。そして発火後、ゼロからまた収集を始めます。
つまり、従来のニューラルネットワークが連続的な信号を使用するのとは異なり、スパイキングニューラルネットワークは情報を処理するために離散的な時点でのアクティビティのバーストであるスパイクを使用します。言い換えれば、スパイキングニューラルネットワークは、ニューロンが電位が特定の閾値を超えたときにのみ発火することで、処理に時間を組み込んでいるのです。
スパイキングニューラルネットワークをトレーニングするには、異なる方法やアルゴリズムがあり、現在のところ確立された標準的な方法はありません。これはまだ活発な研究分野です。
一般的な方法の一つは、スパイクタイミング依存可塑性（STDP）と呼ばれるものです。この方法は、脳がニューロン間の接続を強化したり弱めたりする方法に触発されています。あるニューロンが別のニューロンの直前にスパイクすると、それらの間の接続が強くなります。直後にスパイクすると、接続は弱くなります。これは、スパイクのタイミングに基づいてどの接続が重要かを学習するようなものです。
タイミングについて言えば、スパイクの正確なタイミングが重要なのです。単にスパイクがいくつあるかだけでなく、それらがいつ発生するかが重要です。
STDPはスパイキングニューラルネットワークをトレーニングする一つの方法に過ぎません。他にもいくつかの方法がありますが、それらはこのビデオの範囲を超えています。しかし、従来のニューラルネットワークと同様に、スパイキングニューラルネットワークも多くのデータを使って何百万回ものトレーニングラウンドを経る必要があり、最終的にネットワークの構成とそのすべてのパラメータが最適な状態に達します。
再度注意したいのは、これはスパイキングニューラルネットワークの非常に簡略化された説明であり、多くの数学的詳細は省略しています。しかし、要するにそれがどのように機能するかということです。
さて、スパイキングニューラルネットワークの利点は何かと疑問に思うかもしれません。まず、このスパイキングメカニズムを実装することで、人間の脳をさらに模倣するように設計されています。そのため、理論的には、人間の脳をさらに模倣することで、現在のAI世代と比較してより優れたレベルの知能に到達できるかもしれません。
しかし、スパイキングニューラルネットワークの最大の利点はその効率性です。ビデオの冒頭で、人間の脳のエネルギー消費をGPT-4のような現在の最先端モデルと比較したことを覚えていますか。GPT-4は巨大なデータセンターと膨大な計算能力を必要とします。これは、従来のニューラルネットワークが常にアクティブだからです。各データ入力が、ニューラルネットワーク全体をアクティブ化します。そのため、1回のトレーニングまたは推論を行うだけでも、ネットワーク全体で膨大な行列乗算を行う必要があります。
しかし、スパイキングニューラルネットワークでは、スパイクが発生する場所でのみエネルギーを使用し、ニューラルネットワークの残りの部分は非アクティブのままです。これにより、はるかにエネルギー効率が高くなります。
さらに、スパイキングニューラルネットワークは、人間の脳を模倣するように設計されたニューロモーフィックチップに特に適しています。ニューロモーフィックチップは大きなトピックで、独自の完全なビデオに値するので、これについてのビデオを作成してほしいかどうかコメントで教えてください。
では、これらのスパイキングニューラルネットワークは実際にどのように現実世界で応用できるのでしょうか？
これらのニューラルネットワークはスパイクのタイミングで情報をエンコードおよび処理できるため、時間的データの処理に優れています。これにより、適応型および自律型システムに適しています。
さらに、前述したスパイクタイミング依存可塑性（STDP）では、スパイクのタイミングがネットワーク内の接続の強さに影響を与えます。これにより、より堅牢で適応性のある学習能力が得られる可能性があります。
このダイナミックな学習により、スパイキングニューラルネットワークは、AIが変化する環境に学習・適応する必要がある自動運転などの自律システムに適しています。また、株式市場予測や患者モニタリング、個別化医療など、リアルタイム処理にも使用できます。そしてもちろん、自律型ロボットにも適しています。
スパイキングニューラルネットワークは、特にエネルギー効率に関して大きな利点を提供しますが、いくつかの限界もあります。
スパイキングニューラルネットワークの設定とプログラミングは、従来のニューラルネットワークと比べてより複雑です。このスパイキング動作は複雑さの層を追加し、設計や理解がより困難になります。
スパイキングニューラルネットワークのトレーニングも非常に難しいです。現在のニューラルネットワークはバックプロパゲーションのような方法を使用してパラメータを調整しますが、このプロセスはこれらの離散的な時間ベースのスパイクではうまく機能しません。研究者たちは、スパイキングニューラルネットワークの効果的なトレーニングアルゴリズムを見つけようとしています。
また、この追加の時間次元により、スパイキングニューラルネットワークはシミュレーションにより多くの計算リソースを必要とする可能性があります。これは、時間経過でスパイクを追跡・処理する必要があるため、計算コストが高くなる可能性があるからです。
さらに別の限界は、スパイキングニューラルネットワークを効率的に実行するには、多くの場合、ニューロモーフィックチップなどの専用ハードウェアが必要なことです。これらは従来のコンピューティングハードウェアと比較して、広く利用可能でも標準化されてもいません。ニューロモーフィックチップはこのスパイクベースの処理に最適化されており、まだ開発中です。これが、例えばサム・アルトマンがRainというニューロモーフィックチップ会社に何百万ドルも投資している理由です。
最後に、スパイキングニューラルネットワークは特に時間ベースのデータに対して有望な結果を示していますが、時間ベースでないデータに対しては、多くの場合、現在のAIモデルに遅れをとっています。特に複雑なタスクに対しては、性能が劣ることがあります。これは部分的に、スパイキングニューラルネットワークを効果的にトレーニングすることの難しさによるものです。
液体ニューラルネットワークと同様に、スパイキングニューラルネットワークも比較的新しいため、現在のAIモデルと比較して、スパイキングニューラルネットワークの開発に利用できるツールやフレームワークが少ないです。これにより、実験や開発がより遅く、より困難になります。
しかし、以上が次世代AIになる可能性のあるものをまとめたものです。すべてを振り返ると、現在のAI世代は非常にエネルギー効率が悪く、膨大な計算能力を必要とします。さらに、トレーニング後に新しいことを学習できません。
AGI（汎用人工知能）やASI（超人工知能）を達成したい場合、本質的に人間の脳と同じくらい効率的で流動的なもの、つまり常に新しいことを学び、変化する環境に適応できるものを作る必要があります。これらが、液体ニューラルネットワークやスパイキングニューラルネットワークなどの新しいタイプのニューラルネットワークが解決できる2つの本質的なことです。少なくとも理論上はそうです。
しかし、これらはまだ比較的新しく、まだ開発中です。しかし、その潜在的な可能性は膨大です。学習を続け、無限に賢くなることができるAIを想像してみてください。
これらのニューラルネットワークについてどう思うか、コメントで教えてください。AIの世界では物事が非常に速く進んでいるので、現在起こっているすべての技術革新についていくのは相当難しいです。
そのため、言及する価値のある他の画期的なアーキテクチャを見落としている場合は、コメントで教えてください。そうすれば、それについてもビデオを作成するよう努めます。
いつものように、このビデオを楽しんでいただけたなら、いいね、シェア、登録をお忘れなく、そして今後のコンテンツをお楽しみに。また、私たちは存在するすべてのAIツールを見つけられるサイト、そして機械学習やデータサイエンスなどの仕事を見つけられるサイトを構築しました。ai-search.でチェックしてみてください。
ご視聴ありがとうございました。次回またお会いしましょう。
コメント