AIは推論できない。自動運転をさせるべきか？

2,937 文字

皆さん、多くのコンピューターサイエンティストはAIモデルを大きくすれば大きくするほど、推論も含めてほぼ全てのことを学習できるようになると信じてはります。もちろん私もそうなって欲しいと思います。
自律走行車には基本的な論理法則に従って欲しいと思いませんか？警察官さん、誰かを轢いてないのに、私がここにいるはずないでしょう！でも私はここにいるから、明らかに誰も轢いてないんです！
私は科学的根拠のある近未来のディストピアが好きなんですが、最近の研究グループが現在のAIには推論能力がないことを実証したと聞いて、詳しく調べてみました。
推論とは何か？これについては、あなたのお気に入りの3時間の哲学ポッドキャストに任せましょう。この動画では「推論」とは、基本的な数学と論理を正しく理解することを意味します。例えば「ピザならパイナップルは禁止」というような論理です。分かりやすいですよね。
今日使用されているAIは、論理を知って生まれてきたわけではありません。ほとんど全てが同じタイプです。大量のデータで訓練された深層ニューラルネットワークで、時には強化学習も使われます。これらのAIはパターンを認識し、そこから補間や外挿を学習します。
もっともっとデータを与えたらどこまで学習できるのか、誰にも分かりません。一部のコンピューターサイエンティストは、モデルがより多くのデータで訓練されるにつれて「創発能力」を獲得すると信じています。実際、それはすでに起こっているとも言われています。
この創発能力とは、モデルが大きくなるにつれて突然現れた予期せぬ新しい特徴のことです。例えば、単語を並べ替えたり、地理的な地図を含む空間的な相対位置を理解したりする能力です。
数学的な能力も身につけています。これらのモデルがベンチマークテストでどのように機能するかを見ると、標準的な数学テストでの性能は、モデルが大きくなるにつれて劇的に向上しています。
これは自然と「全てを学習できるようになるのか？」という疑問を投げかけます。私は、これらの創発能力が健全な推論能力を生み出すことは強く疑問に思います。モデルは訓練データにあるパターンを学習できますが、言語はそもそも論理や数学を符号化するのには適していません。曖昧すぎるんです。
人々も常に論理的な間違いを犯します。例えば、ピザにパイナップルを載せる人もいると聞きました。
しかし、深層ニューラルネットが推論できるかどうかという問題は、これまで以上に重要です。多くの企業が、しっかりとした推論能力を必要とするケースにそれらを使用するかもしれないからです。自律走行車だけじゃありません。
AIが政府や軍、さらには（神様お助けを）ピザ屋にアドバイスすることを想像してみてください。私は、AIが推論できるかどうかを知りたいと思います。そして、それをテストする最も簡単な方法は数学の問題です。
今日の大規模言語モデルの数学能力には感心していません。例えば、GPTに「5より大きく17より小さい平方数を持つ最小の整数は何か」と尋ねてみました。
答えは3だという2つのでたらめな回答が返ってきました。正解はマイナス4です。何が間違っているのか分かりますよね。GPTは整数とは何か、順序関係とは何かを理解していません。ただ、それっぽく見えるテキストと数学記号を組み合わせているだけです。
出力される答えは、テキストの意味的な類似性という意味では「近い」のですが、数学的な正確さという点では非常に「遠い」のです。
新しい論文では、DeepMindとAppleの研究グループがこの問題を体系的に研究しました。最新のGPTとLlamaを含む大規模言語モデルの推論能力を、GSM8kという一般的な数学テストで調査しました。これは約8000問からなる小学校レベルの数学です。
複雑なテストではありません。「ジェームズは週に2回、2人の友達に3ページの手紙を書きます。ピザに何個のパイナップルを載せますか？」というような問題です。聞いてはりましたか？
質問は「1年間に何ページ書くか」で、警察が来て尋ねた場合の正解は624です。
この新しい研究では、名前や数字を変更したり、不要なテストを追加したりして数学の問題を変更しました。その結果、全てのモデルで数学の性能が大幅に低下することが分かりました。
これは、モデルが実際には推論せず、単に言語関係を利用して学習したものと似たものを出力しているということを強く示唆しています。
もっとも、低下は数パーセントポイントに過ぎません。そこまで悪くは聞こえませんが、これは超シンプルな数学テストでした。だから、実際はもっと深刻かもしれません。
完璧なスコアを求めるのではなく、人間の結果と比較する方が公平だったという議論もできます。ジェームズが1年間に何ページ書くかと聞かれたら、私も「パイナップル」と答えて追い払おうとするかもしれません。
実際、この研究が発表されてから数日後、「空が落ちてくるのを止めるためのチキンリトルセンター」による「人間の推論の包括的分析」というパロディ論文が登場しました。
「コグナス・バイアサム」を含む架空の著者たちは、「共産主義が世界の歴史上どこでも機能したことがないという否定できない証拠を示されても」なお共産主義を支持する人がいるという事実は、「ホモ・サピエンスは本質的に、真の論理的分析よりも創造的なストーリーテリングに長けた狂った猿である」ことの証明だと主張しています。
冗談だと思いますが、そもそも人間がなぜ論理的推論を学んだのかは良い質問です。私の推測では、自然が論理の法則に従っているから、多かれ少なかれ学んできたのでしょう。
これは、AIが物理的現実についてより多くを学べば学ぶほど、推論を理解する可能性が高くなるということを示唆しています。つまり、物理学を教えるべきだということです。物理学者に他に何を期待するんですか？
選挙期間中は特に、ニュースについていくのが大変でした。何が起こっているのか知る必要がありますからね。もし同じような悩みを持っているなら、Ground Newsをお勧めします。私には本当に役立ちました。
Ground Newsは、世界中で公開されたニュースを収集し要約するニュースプラットフォームです。同じ話題の記事を全て一箇所に集めて簡単な要約を提供するだけでなく、一般メディアでは見つからない多くの追加情報も提供してくれます。
米国選挙の動向を把握するのにとても役立っています。これには専用ページもあります。各項目について、右派、中道、左派の各メディアがどの程度カバーしているかを教えてくれます。
また、各ニュース項目の事実性評価も提供され、メディア企業の所有者も分かります。時間の節約になりますし、米国のニュースだけではありません。ヨーロッパなど、お好みの地域を設定できます。
試してみたい方は、ground.news/sabineというリンクをご利用ください。Vantageプランの大幅割引が受けられ、全ての機能にアクセスできます。ぜひチェックしてみてください。
ご視聴ありがとうございました。また明日お会いしましょう。