13,236 文字
今日われわれが知っているAIは実際かなり頭が悪いんです。はい、これにはチャットGPTもステーブル・ディフュージョンもソラも、今ある最先端のモデル全部含まれます。まだまだ能力が足りてませんし非効率なんです。将来世代のAIは今あるものとは全然違うもんになるでしょう。
せやから今回の動画では、現世代がなぜこんなに制限されてるのか、そして将来世代のAIがどないなるんかを説明していきます。
まず今日のAIの基本的なメカニズムを理解せなあきません。全てのAIは人間の脳をモデルにしたニューラルネットワークに基づいています。これは情報が一方から他方へと流れるノードのネットワークです。
ニューラルネットワークの仕組みについて、めっちゃ簡単に説明させてもらいます。AIの技術的なバックグラウンドがない人向けの説明なんで、AIの経験がある人はこの部分飛ばしてもらって構いません。
ニューラルネットワークの各点はノードまたはニューロンと呼ばれ、各ノードの列をレイヤーと呼びます。ディープラーニングやディープニューラルネットワークという言葉を聞いたことあるかもしれませんが、これは多くのレイヤーを持つニューラルネットワークのことで、それゆえ「深い」んです。
各ノードは次のレイヤーにどれだけ情報を流すかを決定します。これもかなり単純化した説明で、重みやバイアス、活性化関数なんかの設定がたくさんありますが、基本的にこのニューラルネットワークを、次のレイヤーにどれだけ情報が流れるかを決める一連のダイヤルやノブやと考えてください。
簡単な例を挙げましょう。画像がネコかイヌかを判定するように設計されたニューラルネットワークがあるとします。入力としてネコかイヌの画像を与えると、その画像はデータ（トークンとも呼ばれる）に分解されて、このニューラルネットワークに送り込まれます。最終的にデータが全レイヤーを通過すると、最後のレイヤーでその画像がネコかイヌかを判定します。
モデルのトレーニングについてはどうでしょうか？ニューラルネットワークは何かを学習するために、通常何百万回ものトレーニングを受ける必要があります。一回のトレーニングがどんな感じか例を見てみましょう。
イヌの画像を入力すると、その画像はデータに分解されてニューラルネットワークを流れ、「これはイヌです」という答えを出力します。その場合、正解を出したということは、このダイヤルとノブ（重みとも呼ばれる）が正しく設定されてるってことですよね。正解が出たんやったら、これ以上重みを調整する必要はありません。
でも間違えた場合はどうでしょう？これはネコやと言うた場合、ペナルティが発生して、将来同じようなペナルティを最小限に抑えられるように、このニューラルネットワークの重みが更新されます。具体的には、最後のレイヤーから一つ前のレイヤー、さらにその前のレイヤーへと、逆伝播と呼ばれるプロセスで、最初のノードレイヤーに到達するまで重みが更新されていきます。
usually一回のトレーニングじゃ足りへんので、ネットワークは何百万回ものトレーニングを受けて、エラーによって発生するペナルティを最小限に抑えるように重みが少しずつ調整されていきます。そしてついに、どんな画像でもネコかイヌかを正確に判定できるように、ダイヤルとノブの設定が最適化されるわけです。
今日のAIモデルもこうやってトレーニングされています。例えばGPTは基本的にニューラルネットワークですが、自然言語を理解するようにダイヤルとノブが最適化されています。ステーブル・ディフュージョンも別のニューラルネットワークで、画像生成用にダイヤルとノブが最適化されています。
繰り返しになりますが、これはかなり単純化した説明です。アーキテクチャ（基本的にニューラルネットワークの設計）も非常に重要です。例えば、レイヤーはいくつ必要か、各レイヤーのノードは何個必要か、大規模言語モデル用のトランスフォーマーモデルや時系列データ用のLSTM、物体検出と画像分類用の畳み込みニューラルネットワークなど、さまざまなアーキテクチャがあります。でも要するに、全てのAIモデルの根幹にあるのは、仕事を正確にこなすように事前設定されたダイヤルとノブを持つニューラルネットワークってことです。
さて、現世代のAIの仕組みが分かったところで、その最大の制限について見ていきましょう。まず第一に、モデルのトレーニングが終わると、重み（つまりこれらのダイヤルとノブ）は固定値になります。ユーザーがチャットGPTに何かを尋ねたり、ステーブル・ディフュージョンを使って画像を生成したりしても、これらのダイヤルとノブの値は変化しません。言い換えれば、今日あるAIモデルは全て固定されています。学習も賢くなることもできない脳やと考えてください。
例えばGPT-4は学習を続けて、どんどん賢くなることはできません。より賢いモデルが欲しければ、GPT-4.0やGPT-5とか呼ばれる新しい世代のGPTをトレーニングせなあきません。ステーブル・ディフュージョンも同じです。ステーブル・ディフュージョン2は使えば使うほど賢くなって、より良い画像を生成できるようになるわけではありません。改善するためには、ステーブル・ディフュージョン3として知られる新世代をトレーニングする必要があります。そしてステーブル・ディフュージョン3のトレーニングが終わったら、それが最高の賢さになります。それで十分じゃないと思うなら、新しいモデルをトレーニングせなあきません。
つまり、今日のAIモデルは全て、その知能と能力が固定されているんです。もう一度言いますが、成長を止めて学習も賢くなることもできない脳やと考えてください。でも人間の脳はそうはなってません。神経可塑性という言葉があって、これは脳が新しい環境に適応したり新しいことを学んだりするために、時間とともに新しい神経接続を形成して自身を再編成・再設定できる能力を指します。そしてそれこそが、次世代のAIができることなんです。これについては後で話します。
でも現在のAIモデルにはもう一つ大きな制限があります。それは極端に非効率で、計算集約的だということです。ご存知の通り、AIは人間の脳のアーキテクチャーを基に設計されています。そこで人間の脳の効率と比較してみましょう。
現在GPT-3は1,750億個のパラメータを持っています。これは数千個のGPUを使って数週間から数ヶ月かけてトレーニングされました。GPT-3のトレーニングに必要な総電力は約1,287メガワット時と推定されています。これはアメリカの約1,500世帯が1ヶ月に消費する電力量に相当します。
GPT-3は2020年、つまり4年前に完成したことを覚えておいてください。最新バージョンのGPT-4はソースが非公開なので、そのアーキテクチャやトレーニング期間は実際には分かりません。でもパラメータ数は約1.76兆個で、GPT-3の10倍です。パラメータサイズが大きくなるほど必要な計算量は指数関数的に増加することを覚えておいてください。ざっと計算すると、GPT-4のトレーニングには約41,000メガワット時のエネルギーが必要だったかもしれません。これはアメリカの約47,000世帯が1ヶ月に消費する電力量に相当します。
GPT-4やClaude 3、Gemini 1.5 Proといった今日の最先端モデルを作るのに使われる計算能力には、巨大なデータセンターと大量のエネルギーが必要です。だからこそテック企業は必死になってさらに大きなデータセンターへの投資と建設に走っているんです。計算能力が主な制限要因だと分かってるからです。だからこそマイクロソフトとOpenAIは、世界最大のデータセンターを建設する1,000億ドルのStargateプロジェクトを計画しているんです。これ全部計算能力のためです。
これを人間の脳と比較してみましょう。GPT-4はまだ人間の脳より賢くないと言う人もいるでしょう。少なくともある面では。人間の脳は1年で175キロワット時しか使いません。このエネルギーは食べ物からカロリーの形で摂取します。GPT-4のトレーニングに必要なエネルギーは、人間の脳が1年で使う量の約234,000倍と推定されます。言い換えれば、GPT-4を一回トレーニングするのに必要なエネルギーは、人間の脳を234,000年以上動かせる量なんです。
この比較をしたのは、今日のAIモデルには根本的に何か問題があることを示すためです。めっちゃエネルギー効率が悪くて、大量の計算能力を必要とします。人間の脳の効率には全然及びません。だから次世代のAIはこの効率の問題も解決せなあきません。そうせんと持続可能ではありません。
まとめると、現在のAIモデルの主な制限は2つあります。1つ目は、トレーニング後は固定されて、それ以上改善や学習ができないこと。2つ目は、めっちゃエネルギー集約的で非効率なことです。これが現世代のAIの2つの最大の問題です。
では次世代に入っていきましょう。まだそこには到達してませんが、今まさに議論され開発されている可能性のあるアーキテクチャがいくつかあります。
1つ目のアーキテクチャは液体ニューラルネットワークと呼ばれています。液体ニューラルネットワークは人間の脳の柔軟性（可塑性）を模倣するように設計されています。人間の脳はめっちゃ柔軟で、時間とともに自身を再編成・再設定できます。この能力のおかげで、脳は新しい状況に適応したり新しいスキルを学んだり、怪我や病気を補償したりできます。
例えば、新しいことを学ぶと、脳は構造的にも機能的にも変化して新しい情報に対応します。新しい言語を学ぶと、左半球の灰白質の密度が増加するなど、脳の構造と機能に変化が起きます。怪我からの回復にも脳は対応できます。例えば外傷性脳損傷の後、理学療法や認知訓練によって脳を再配線し、失われた機能を取り戻すことができます。視覚や聴覚などの感覚を失った人の場合、脳はその損失を補うために自身を再編成し、他の感覚をより鋭くします。
この柔軟性、この可塑性こそが、液体ニューラルネットワークが持つように設計されている特徴です。液体ニューラルネットワークは新しいデータにリアルタイムで適応できます。つまり、新しい入力を受け取るとニューラルネットワークの設定が変化します。だからこそ「液体」と呼ばれるんです。ネットワーク内のこれらの接続やダイヤル、ノブは流動的で、時間とともに動的に変化できます。
液体ニューラルネットワークは、新しい情報を取り入れながら学習したことを記憶することもできます。これは人間の脳が新しいことを学びながら古い情報を覚えておけることと似ています。
液体ニューラルネットワークの仕組みはこうです。従来のニューラルネットワークと同様に、3つの主要なコンポーネントを持っています。入力データを受け取る入力レイヤーがありますが、その後ろに液体レイヤー（別名リザバー）があります。これが液体ニューラルネットワークの中核コンポーネントで、基本的に大きな再帰型ニューラルネットワークです。水を入れた大きなボウルやと考えてください。各スプラッシュが波紋を作り出します。これらの波紋は、入力に反応するネットワーク内のニューロンです。
リザバーは動的システムとして機能し、入力データをリザバー状態と呼ばれる高次元表現に変換します。このリザバーの豊かなダイナミクスと変換によって、入力データの複雑な時間パターンが捉えられます。
最後に出力レイヤーがあります。このレイヤーはリザバー状態を受け取り、リードアウト関数と呼ばれるものを使って望ましい出力にマッピングします。分かりやすく言うと、リザバー内の波紋を見て、それが何を意味するのかを理解しようとするレイヤーです。リザバーからの動的パターンを受け取って、そこから予測や決定を行います。
液体ニューラルネットワークの重要な特徴は、学習プロセス全体を通じてこのリザバーレイヤーがトレーニングされないことです。リザバー状態をターゲット出力にマッピングする出力レイヤーだけがトレーニングされます。言い換えれば、これらの波紋が何を意味するかを理解するためにです。そしてこのリザバーが常に流動的で柔軟なままであり、固定値にならないからこそ、この液体ニューラルネットワークは基本的に新しいデータに適応して新しいことを学べるんです。
液体ニューラルネットワークのトレーニング方法はこうです。リザバー内のニューロン間の接続は、最初はランダムに設定されます。これらの接続は通常同じままで、トレーニング中は変化しません。次に入力レイヤーにデータを送り込みます。このデータがトークンに分解されてリザバーレイヤーに到達すると、リザバー内のニューロンが反応して、水面の波紋のような複雑なパターンを作り出します。
このように入力データが波紋を作り出すと、時間とともにリザバーで作られるパターンを観察・分析します。それこそがリードアウトレイヤーの仕事です。パターンを認識することを学習するんです。「あぁ、これがこのタイプの波紋を引き起こしたんや」「あれがあのタイプの波紋を引き起こしたんや」というように。そして最終的に、何百万回ものトレーニングを経て、リードアウトレイヤーは観察されたパターンに基づいて正確な予測ができるようになります。
繰り返しになりますが、リザバーレイヤーはトレーニングされず、リードアウトレイヤーだけがトレーニングされます。これはより単純で速いプロセスです。リザバーレイヤーで何も調整する必要がないからです。今日知られているニューラルネットワークと比べてずっと速いんです。なぜなら、従来のニューラルネットワークでは、隠れレイヤーの重みを含む全ての重みがトレーニング可能だからです。これは最適化するパラメータがより多いということで、トレーニング時間が長くなり、計算要件も高くなります。
でも液体ニューラルネットワークでは、トレーニング中にリザバーの重みを調整しません。リードアウトレイヤーだけがトレーニングされます。最適化する必要のあるパラメータが少なくなるので、トレーニング中の計算負荷が大幅に減ります。さらに、トレーニングもずっと速くなります。ありがたいことにスポンサーのBright Dataのおかげです。
Bright Dataは、企業が大規模な高品質ウェブデータを収集するのを支援するために設計された、オールインワンプラットフォームです。これは特に、堅牢で偏りのないAIモデルを構築するために、多様で高品質なトレーニングデータの大量収集が必要なAI企業にとって有用です。このトレーニングデータを手動で収集するのは時間がかかり、エラーが発生しやすいんです。そこでBright Dataの出番です。
Bright Dataを使えば、パースされ検証されたデータセットからカスタムスクレイピングソリューションまで、高品質なウェブデータに簡単にアクセスできます。オンデマンドで使用できるクリーンなデータセットを用意し、特定のニーズに合わせてデータセットをカスタマイズし、信頼性の高い配信とコンプライアンスの完全な遵守を実現できます。実際、15分ごとに彼らの顧客はチャットGPTをゼロから学習させるのに十分なデータをスクレイピングしています。これはめっちゃ大量のデータです。
ウェブスクレイパーAPI、プロキシマネージャー、ブロック解除技術など、データスクレイピングを大規模に自動化し、AIやLLMのトレーニングに使える信頼性の高いデータセットを構築するのに役立つツールを多数用意しています。詳しくは説明文のリンクをご覧ください。
これらの液体ニューラルネットワークは最適な状態に収束するのがずっと速いんです。そしてデータを送り込むと重みと設定が動的に変化するこのリザバーのおかげで、液体ニューラルネットワークは固定された重みと接続を持つ従来のニューラルネットワークよりもずっと小さくできる可能性があります。これによってより効率的な学習と推論が可能になります。
例えばMITの研究者たちは、たった20,000個のパラメータを持つ液体ニューラルネットワークを使ってドローンを操縦することができました。これはGPT-4のような最先端のAIモデルが1兆個以上のパラメータを持つことと比べるとめっちゃ小さいです。20,000個のパラメータと1兆個以上のパラメータ、考えてみてください。このサイズが小さいということは、一般的に推論が速くなり、計算要件も低くなります。
液体ニューラルネットワークはメモリ使用量もずっと少ないです。繰り返しになりますが、リザバーの重みをトレーニングしないので、全レイヤーの勾配とパラメータをメモリに保存せなあかん従来のニューラルネットワークと比べて、トレーニング中のメモリ使用量がずっと少なくなります。
液体ニューラルネットワークは、動的なリザバーのおかげで時系列データの処理が特に得意です。だから複雑な時系列データを含むタスクで優れた性能を発揮します。
さて、これらの液体ニューラルネットワークが実世界でどのように応用できるのか気になってるかもしれません。いくつか使用例を紹介しましょう。
完全自律型AIロボットの開発競争が進む中、これらのロボットは実世界に投入され、トレーニング中には経験したことのない状況に遭遇することもあるでしょう。例えば、捜索救助任務では予測不可能な環境があるかもしれません。でも液体ニューラルネットワークを使えば、これらのロボットは変化する条件に適応し、その場で新しいタスクを学習できます。
最終的には、家事などを手伝ってくれる自律型ロボットが家庭に入ってくるでしょう。でもあなたには、そのロボットがトレーニングされたことのない独特の洗濯物の畳み方や洗濯の仕方、料理の仕方があるかもしれません。従来のニューラルネットワークでは、これらのロボットは配備後に新しいスキルを学習できません。でも液体ニューラルネットワークを組み込んだヒューマノイドロボットなら、あなたが教える新しいタスクを学習でき、このロボットはあなたにとってよりパーソナライズされたものになります。
そして自動運転もあります。自動運転車が将来的に主流になることは間違いないですが、現在の技術は特に難しい環境や新しい条件ではまだまだうまく機能しません。これも、従来のニューラルネットワークがトレーニングされたデータに対してしか優れた性能を発揮できないからです。新しい環境に適応することができません。でも液体ニューラルネットワークなら、自律走行車はセンサーデータから継続的に学習・トレーニングして、それに応じて挙動を調整することで、複雑で動的な環境をナビゲートできます。時間とともに常にトレーニングと改善を続けているんです。
先ほど申し上げたように、液体ニューラルネットワークはしばしば再帰的な接続を組み込んでいるので、時系列データの処理に適しています。だから天気予報や株式トレーディングにも適しています。株式市場は常に変化するトレンドやサイクルに満ちています。だから一つの固定されたアルゴリズムや公式で市場に勝つのはほぼ不可能です。でも液体ニューラルネットワークは常に変化するデータに適応できるので、利益を最大化するためにリアルタイムで取引戦略を最適化できます。言い換えれば、最新の市場データを常にこの液体ニューラルネットワークにストリーミングすれば、リアルタイムでこのデータに適応して設定を変更し、利益の最大化を支援できます。
もう一つの使用例はヘルスケアです。液体ニューラルネットワークはウェアラブルデバイスで使用して、患者の状態をリアルタイムでモニタリングし、状態の変化に適応して、重大な問題になる前に潜在的な健康問題を予測できます。
サイバーセキュリティでは、液体ニューラルネットワークはネットワークトラフィックやユーザーの行動から継続的に学習して、アクセス制御ポリシーを適応させ、異常や不正アクセスの試みを検出できます。
もう一つの使用例は、Netflixのようなストリーミングサービスです。液体ニューラルネットワークを使って各ユーザーの視聴習慣や好みに適応し、よりパーソナライズされたコンテンツレコメンデーションを提供できます。
スマートシティ管理も使用例の一つです。例えば液体ニューラルネットワークは交通パターンから学習して、渋滞を減らし効率を改善するために、リアルタイムで信号機を調整して交通流を最適化できます。
エネルギー管理も関連性が高いです。スマートグリッドは液体ニューラルネットワークを使って、消費パターンに適応しながら、リアルタイムで電力供給と需要のバランスを取り、効率を改善してコストを削減できます。
しかし、液体ニューラルネットワークは有望に見えるものの、限界もあります。これはニューラルネットワークの分野では比較的新しい概念で、研究はまだ初期段階です。より従来のアーキテクチャと比べると、まだ十分な研究が進んでいません。
液体ニューラルネットワークは、連続的なデータストリームを処理し、その場で適応する能力など、理論的には有望な利点を示していますが、大規模な実世界での優位性を示す結果がまだ不足しています。多くの研究者は、液体ニューラルネットワークに多大な努力を投資する前に、より説得力のあるベンチマーク結果を待っているかもしれません。
また、先ほど述べたように、時系列データや順序データに特に適しています。ネコかイヌかの画像を識別するような、時間を含まないタスクには、従来のニューラルネットワークの方が実際には効果的で実装も簡単かもしれません。
また、このリザバーレイヤー内のダイナミクスは非常に複雑で解釈が難しく、これによってリザバーがどのように入力を処理しているかを理解するのが難しくなります。最適なパフォーマンスに微調整するのはかなり難しいでしょう。
最後に、従来のニューラルネットワークと比べて、液体ニューラルネットワーク用の標準化されたサポートや確立されたフレームワークが不足しています。これによって実装と実験がより困難になる可能性があります。
結局のところ、液体ニューラルネットワークはまだ非常に初期の概念で、活発な研究分野です。新しい情報を学習するために大規模なデータセットで再トレーニングが必要な従来のニューラルネットワークとは異なり、液体ニューラルネットワークは各新しいデータを受け取るたびに、段階的に知識を更新できます。これは柔軟で適応的なモデルを提供し、理論的には時間とともに無限に賢くなる可能性があります。
さて、液体ニューラルネットワークは次世代のAIになり得る唯一の可能性ではありません。従来のニューラルネットワーク以上に人間の脳を模倣するように設計された、別タイプのニューラルネットワークもあります。それがスパイキングニューラルネットワークです。
これは、離散的なスパイク（活動電位）を使って通信する人間の脳のニューロンの仕組みに密接にヒントを得ています。人間の脳（基本的にはニューロンのネットワーク）では、各ニューロンは入力を受け取ってもすぐには次のニューロン群に発火しません。入力が特定の閾値まで蓄積され、その閾値を超えると次のニューロン群に発火し、発火後は休止状態に戻ります。スパイキングニューラルネットワークはこの挙動を模倣するように設計されています。
仕組みはこうです。アーキテクチャは従来のニューラルネットワークとよく似ていますが、各ニューロンは他のニューロンからの信号やスパイク（小さな電気パルスのようなもの）を受け取るのを待ちます。画像や音などの入力データは、このニューラルネットワークを通過するスパイクに変換されます。例えば、大きな音はより多くのスパイクを生成し、小さな音はより少ないスパイクを生成するかもしれません。
ネットワーク内の各ニューロンは、入ってくるスパイクを収集します。水滴を集める桶を想像してください。より多くのスパイクが入ってくると桶が満たされていき、ニューロンが十分なスパイクを受け取ると（言い換えれば、特定の閾値に達すると）、次のニューロン群にスパイクを発火し、発火後はゼロからまた収集を始めます。
つまり、連続的な信号を使う従来のニューラルネットワークとは異なり、スパイキングニューラルネットワークは情報処理に離散的な時点でのバースト活動であるスパイクを使用します。言い換えれば、スパイキングニューラルネットワークは、ニューロンが電位が特定の閾値を超えた時だけ発火するという形で、時間を処理に組み込んでいます。
スパイキングニューラルネットワークをトレーニングする方法は様々で、現在のところ確立された標準的な方法はありません。これはまだ活発な研究分野です。一般的な方法の一つがスパイクタイミング依存可塑性（STDP）です。この方法は、脳がニューロン間の接続を強化したり弱めたりする仕組みにヒントを得ています。
あるニューロンが別のニューロンの直前にスパイクすると、それらの間の接続は強化されます。直後にスパイクすると、接続は弱められます。スパイクのタイミングに基づいて、どの接続が重要かを学習するようなものです。タイミングと言えば、スパイクの正確なタイミングが重要です。スパイクの数だけでなく、いつ発生するかが問題なんです。
STDPはスパイキングニューラルネットワークをトレーニングする方法の一つに過ぎません。この動画の範囲を超える他の方法もいくつかありますが、従来のニューラルネットワークと同様、スパイキングニューラルネットワークも大量のデータで何百万回ものトレーニングを受ける必要があり、最終的にネットワークの設定と全てのパラメータが最適な状態に達します。
繰り返しになりますが、これはスパイキングニューラルネットワークの非常に単純化された説明で、多くの数学的な詳細は省略していますが、要するにそういう仕組みです。
スパイキングニューラルネットワークの利点は何かと思われるかもしれません。まず第一に、このスパイキングメカニズムを実装することで、人間の脳をさらに模倣するように設計されています。理論的には、人間の脳をさらに模倣することで、現世代のAIを超える優れた知能レベルに到達できるかもしれません。
でもスパイキングニューラルネットワークの最大の利点は効率性です。動画の冒頭で人間の脳とGPT-4のような現在の最先端モデルのエネルギー消費を比較したのを覚えていますか？巨大なデータセンターと膨大な計算能力が必要です。これは従来のニューラルネットワークが常にアクティブだからです。データの入力ごとにニューラルネットワーク全体が活性化されるので、1回のトレーニングや推論を行うだけでも、ネットワーク全体で途方もない量の行列演算を行わなければなりません。
しかし、スパイキングニューラルネットワークではスパイクが発生する場所でのみエネルギーを使用し、ニューラルネットワークの残りの部分は非アクティブのままです。これによってエネルギー効率が大幅に向上します。さらに、スパイキングニューラルネットワークは人間の脳を模倣するように設計されたニューロモーフィックチップに特に適しています。
ニューロモーフィックチップは大きなトピックで、独立した動画一本分の価値があります。もしニューロモーフィックチップについての動画を作って欲しければ、コメント欄でお知らせください。
では、これらのスパイキングニューラルネットワークは実世界でどのように応用できるでしょうか？スパイクのタイミングで情報をエンコードして処理できるので、時系列データの処理に適しています。これによって適応型・自律型システムに適しています。
さらに、先ほど言及したスパイクタイミング依存可塑性、つまりスパイクのタイミングがネットワーク内の接続の強さに影響を与える仕組みは、より堅牢で適応的な学習能力につながる可能性があります。この動的な学習によって、スパイキングニューラルネットワークは、AIが変化する環境に学習・適応する必要のある自動運転などの自律システムに適しています。あるいは株式市場の予測や、患者のモニタリングやパーソナライズド医療のようなリアルタイム処理にも使用できます。そしてもちろん自律型ロボットにも。
しかし、スパイキングニューラルネットワークは特にエネルギー効率に関して大きな利点を提供するものの、限界もあります。スパイキングニューラルネットワークのセットアップとプログラミングは、従来のニューラルネットワークと比べてより複雑です。このスパイキング挙動により、設計と理解が難しくなる複雑さが加わります。
スパイキングニューラルネットワークのトレーニングも非常に難しいです。現在のニューラルネットワークは逆伝播のような方法を使ってパラメータを調整しますが、このプロセスは離散的な時間ベースのスパイクではうまく機能しません。研究者たちはまだスパイキングニューラルネットワークの効果的なトレーニングアルゴリズムを見つけようとしています。
また、この時間という追加の次元により、スパイキングニューラルネットワークは実際にはより多くの計算リソースを必要とするかもしれません。これは時間経過に伴うスパイクを追跡して処理する必要があるため、計算コストが高くなる可能性があるからです。
もう一つの制限は、スパイキングニューラルネットワークを効率的に実行するには、しばしばニューロモーフィックチップのような専用ハードウェアが必要なことです。従来の計算ハードウェアと比べて、このスパイク処理に最適化されたニューロモーフィックチップは、まだ広く普及しておらず標準化もされていません。現在も開発中です。だからこそ、例えばサム・アルトマンは、Rainというニューロモーフィックチップ企業に数百万ドルを投資しているんです。
最後に、スパイキングニューラルネットワークは特に時間ベースのデータで有望な結果を示していますが、時間を含まないデータでは現在のニューラルネットワークに遅れを取ることが多いです。特に複雑なタスクでは、現在のAIモデルと比べて性能が劣ります。これは部分的に、スパイキングニューラルネットワークを効果的にトレーニングすることの難しさによります。
また、液体ニューラルネットワークと同様、スパイキングニューラルネットワークも比較的新しいので、現在のAIモデルと比べて、スパイキングニューラルネットワークの開発用のツールやフレームワークが少ないです。これによって実験と開発がより遅く、より困難になります。
でもとにかく、これが次世代のAIになり得るものの概要です。全てを振り返ると、現世代のAIは非常にエネルギー効率が悪く、膨大な計算能力を必要とします。さらに、トレーニング後は新しいことを学習できません。AGIやASIを実現するためには、本質的に人間の脳と同じくらい効率的で流動的なもの、つまり常に新しいことを学び、変化する環境に適応できるものを作る必要があります。
これが、液体ニューラルネットワークやスパイキングニューラルネットワークのような新しいタイプのニューラルネットワークが解決できる2つの本質的なことです。少なくとも理論的には。しかし、これらはまだ比較的新しく、まだ開発中です。でも可能性は膨大です。無限に賢くなり続けるAIを想像してみてください。
コメント欄でこれらのニューラルネットワークについてどう思うか教えてください。AIの世界では物事がめっちゃ速く動いていて、今起こっている技術革新全てについていくのはかなり難しいです。もし言及する価値のある他の画期的なアーキテクチャを見落としていたら、コメント欄で教えてください。それについても動画を作ってみます。
いつも通り、この動画を楽しんでいただけたなら、いいね・シェア・登録をお願いします。次のコンテンツもお楽しみに。AIツールを全て見つけられるサイトも作りました。機械学習、データサイエンスなどの求人も見つけられます。ai-search.でチェックしてください。ご視聴ありがとうございました。また次回お会いしましょう。
コメント