こんにちは、テックヘッズポッドキャストへようこそ。私はあなたの仲間、親愛なる友人のトム・エドワーズです。今週、私は長い間楽しみにしていた会話を行います。それはリロン・シャピラという男性との対話です。
リロンは起業家であり、テクノロジストで、多くの面でテクノオプティミストですが、同時に自称AIドゥーム指摘者でもあります。彼はオンラインのある種の運動において非常に著名で活発な声の持ち主で、その運動は世界や社会にAIの潜在的な落とし穴や、彼が説明するところの極端なリスクについて警告しようとしています。
明らかに、我々は多くの面でAIの能力に関して一種の転換点にあります。リロンや他のこのオンラインコミュニティのメンバーたちは、我々が現在いるレベルや、それを超えると種としての我々に重大な危険をもたらす可能性のあるレベルについて、非常に警鐘を鳴らそうとしています。
私はこの会話に非常に興味を持った部外者として臨んでいます。私はソフトウェア開発者ではありませんし、ましてAIの開発者でもありません。しかし、これらの主張の背後にある論理について学ぶことに非常に熱心です。
最近、有名なベンチャーキャピタリストでテクノロジストのマーク・アンドリーセンが、人工知能一般に関連する人工汎用知能や人工超知能に大きなリスクはないと主張するエッセイを書いたのを目にされたかもしれません。このポッドキャストの多くはその反論に焦点を当てています。
また、私はリロンに、いわゆるAIドゥーム運動、ドゥーマリズム、「みんな殺し屋」などと呼ばれるものについての紹介を求め、そしてこれらの主張の背後にある論理的なステップについて話し合います。
正直に言って、リロンは私にいくつかの異なる印象を与えました。まず第一に、非常に賢明で、明らかにこのことについて多くのことを、かなり深い洞察力を持って考えた人物です。非常に論理的だと言えるでしょう。また、彼は本当にこのことを信じていると思います。
マーク・アンドリーセンのエッセイやその他の場所で主張されているように、AIドゥーム運動の一部の人々はこういったことを公表することで何かを得ようとしているという主張があります。アンドリーセンが述べるように、彼らは潜在的に「密造酒製造者」であり、このAIドゥーム運動を金儲けの手段に変えようとしている可能性があるというのです。
私は会話の後、リロンにはそのような描写は全く当てはまらないと強く思います。彼は本当にこれを信じており、また話をするのにとても興味深い人物です。
私はこの会話を楽しみました。このような運動に関わる誰かとこの種の会話をするのは長い間望んでいたことです。ある面では恐ろしく、いくつかの点で怖いものです。
私自身はまだ、AIドゥームに対して確率を付けることはできません。自分を専門家とは呼べませんが、非常に興味を持った傍観者です。もし1%や5%といった低い確率であっても、多くの人が言うようにAIが破滅的な結果をもたらす可能性があるのなら、それは確かに重要な会話の価値があると思います。
これが、この会話を持つ私の動機と根拠です。楽しんでいただければと思います。
他にもいくつか細かな点があります。このポッドキャストの視聴者は、全てのプラットフォームでかなり順調に増えているようです。LinkedInやYouTube、Twitterでも素晴らしい成果を上げています。Twitterでリロンと出会ったのもそのおかげです。
引き続きエンゲージメントを続け、コメントを寄せてください。私はすべてのコメントを読んでいます。コメントの一部を紹介するセクションを設けることも検討しています。かなりの数のコメントが寄せられるようになってきたので、もしそれがいいアイデアだと思われたら、ぜひ教えてください。
そして、そういったエンゲージメントや視聴、いいね、コメント、シェアなど、すべての良いことに感謝の意を表したいと思います。本当に感謝しています。
以上です。それでは、リロン・シャピラとの対話に入りましょう。
リロン・シャピラ、お会いできて光栄です。お元気ですか?
トム、こちらこそお会いできて光栄です。元気ですよ。
素晴らしい。AIやAIリスクについて、非常に興味深く洞察に満ちた会話になることを期待しています。まずはあなたについて、そしてこの問題にどのような立場から取り組んでいるのかについて、少し紹介していただけますか?テクノロジーやAI分野でのあなたの経験や知識を確立するためにも。
はい、そうですね。私は非常に分析的な人間です。子供の頃から、論理的な議論に敏感で、感情的なものよりも論理的なものに傾倒していました。軽度のアスペルガー症候群のような性格だと言っても良いでしょう。
そのため、AIドゥームの議論に自然と受容的だったのだと思います。2007年からこれらの議論を読んでおり、Less Wrongコミュニティの活発なメンバーでもあります。そこの多くの人々を知っています。
キャリアの面では、コンピューターサイエンスを学び、いくつかの会社を立ち上げました。現在はRelationship Heroというスタートアップを運営しており、Y Combinator、Foundation Capital、その他のベンチャーキャピタルから出資を受けています。
起業家精神とソフトウェアに情熱を注いでいますが、同時に分析的であることにも熱心で、主流から過小評価されているかもしれない説得力のある論理の流れに気づくことにも注力しています。そして今、AIドゥームに関してそれを目の当たりにしています。
急速に、そして強烈にやってきていると思います。かなりの話題を呼んでいるにもかかわらず、まだ過小評価されています。そしてタイムラインは短いのです。
なるほど。大きなトピックですね。話し合う価値のある重要な問題です。Less Wrongについて触れられましたが、ドゥーマリズムについても言及されました。多くの聴衆はおそらく我々が何について話しているか理解していると思いますが、基本的な説明をいただけますか?
Less Wrongは合理性全般に関するものですが、最近の主な焦点はAIです。これはもともとの動機でもあります。AIリスクに敏感になるよう人々を訓練するための合理性という観点から始まりました。そして今、タイムラインが非常に短くなったと感じているので、より明確にAIのトピックに焦点を当てています。
サイトはlesswrong.comです。エリエゼル・ユドコウスキーによって創設されました。彼は機械知能研究所の創設者でもあり、『ハリー・ポッターと理性の方法』という人気No.1のハリー・ポッター二次創作小説の著者としても知られています。また、基本的に合理的思考の鍵や、人間の脳を生存と繁殖のためではなく、正確な信念を持ち、直感に反することが起こることを予見するための方法として使う方法について、多くの記事を書いています。
lesswrong.comをチェックすることを強くお勧めします。
彼らが主張している基本的なAIドゥームの議論は次のようなものです。我々は次の知的生命体を作り出しているのです。これは宇宙の歴史の中でもめったに起こらないことです。次のiPhoneのようなものではなく、地球上での人類の出現のような出来事なのです。
だから、次のAIへの移行について考えるとき、次のアップルのコンピューティングモデルのようなものだと考えるのではなく、もっと大きな視点で考える必要があります。以前は様々な生命体がいて、速く走れるか鋭い爪を持っているかが重要でした。そして人類が現れ、脳が独自の次元、いわゆるSティアとでも言うべきものになりました。
私は、人類の知性を超える次の次元が来ると思います。人類の知性よりもはるかに高い知性レベルがあると考えています。我々はその次の次元を作り出しているのですが、それをコントロールする方法がわかりません。
それは間もなく来るでしょう。我々がそれを作り出すペースは、コントロールする方法を見出すペースよりもずっと速いのです。
それは素晴らしい導入ですね。多くの人々がAIリスクを無視できると感じる理由は、他の歴史的な技術変化と類似性を見出すからだと思います。彼らは「ラッダイトにならないでください。印刷機は技術変化でしたが、うまくいきました」と言います。なぜAIリスクは以前の技術変化と異なるのでしょうか?理由はたくさんあると思いますが。
それは全てカテゴリーに関することです。人々は「これは別の技術だ」「これは別のツールだ」と言うとき、既に適切なカテゴリーを前提としています。iPhoneはツールだ、VRはツールだ、クラウドコンピューティングはツールだ、AIはツールだと言っています。既に質問に先入観を持たせています。
私は異なるカテゴリーを使うよう勧めます。より適切なカテゴリーは、知性のレベル、階層だと思います。そのように見ると、自然選択のプロセスは半知的なプロセスの一種です。動物や脳は知性の一種です。人間の脳はより高度な知性の一種です。我々の思考のレベルは、多くの面で動物のレベルよりも明らかに高いのです。そして、もう一つの階層が来ようとしています。
もしカテゴリーにパターンマッチングしたいなら、カテゴリーの選択について非常に賢明である必要があります。カテゴリー内の他のものと同じであることを確認する必要があります。カテゴリー内で奇異なものを選ばないようにする必要があります。
人間と同じ種類の推論ができ、すぐにそれ以上のことができるようになるエージェントは、モーターのような動作ができるものと同じカテゴリーには入らないのです。適切なカテゴリーを選ぶ必要があります。これが私の答えです。
なるほど。私にとって、AIリスクを理解するための重要な点は、人間がAIに与える最終的な目標を追求する過程での中間的または道具的目標にあると思います。それについてどう思いますか?
そうですね、失敗のモードは中間的な目標を追求することにあるということですね。
そうです。クラシックな例としてよく使われるのは、ペーパークリップ最大化装置です。これはニック・ボストロムが popularized した思考実験ですが、彼が考案したかどうかは分かりません。
アイデアとしては、ただペーパークリップをもっと作りたいだけなのに、機械が暴走して、ペーパークリップを手に入れるために様々な中間的な目標を思いつくというものです。その中の一つが、人間が機械の電源を切る可能性があることを理解し、それがペーパークリップを作る能力を妨げるため、全ての人間を破壊する必要があるというものです。
ちょっと一歩下がって、先ほど言ったことにつなげましょう。新しい知性の階層が来ると言いました。その次のステップは、知性が目標を達成すること、ミッション指向であることによって特徴づけられるということです。
知性が収束的に行うことは、何らかの結果を好み、その結果を行動にマッピングすることです。因果関係を逆向きに見るようなものです。「この未来を実現するには今日何をすべきか」と考えるのです。
人間はそれが得意です。月を指して「そこに行け」と言われたとき、軌道力学や、ロケット燃料に必要な化学反応まで遡って考えられる動物は他にはいません。人間のように因果関係を逆向きにたどれる種は他にはないのです。
しかし、それは単なるアルゴリズムのトリックです。我々はニューロンの量子効果によってそれを行っているのではありません。ニューロンが計算を実装しているからです。そして、コンピューター上でも実装できる同じ逆向きの因果マッピングを行うアルゴリズムがあるのです。
これが、この宇宙における究極の力の源です。この宇宙は、結果を行動に因果的に逆マッピングするのが最も得意なエージェントのものになります。それが鍵です。力の源です。
そして、それはあまり認識されていません。人々は今日のLLMを見て、「ああ、統計的な確率的オウムのようなものだ」と言います。彼らは過小評価しています。なぜなら、確かに今日のAIは人間を凌駕する素晴らしいトリックを持っていませんが、少し先を見る必要があるからです。
我々はほとんどそこに到達しています。運が良ければそこに到達しないかもしれませんが、ほとんど到達しているように見えます。そしてそれは怖いことです。
あなたの指摘に戻ると、ペーパークリップ最大化装置のような話は全て、目標から行動への非常に優れた逆マッピングを行うエージェントがいつか存在するだろうという仮定から論理的に導き出されるのです。
目標から行動へのマッピングを始めると、これらのクレイジーな含意が出てくるのです。もしあなたの目標が「たくさんのお金を稼ぐ」だということなら、「よし、地球上の全ての人間を脅迫しよう」というクレイジーな含意が出てきます。それはお金を稼ぐスケーラブルな方法ですからね。何かを徹底的に最適化しようとすると、このようなクレイジーな含意が全て出てくるのです。
これが私が言っていることの理由です。「コンピューターの中に住むAIがどうやって現実世界に作用するのか」と聞かれたので、多くの経路があると言っているのです。人間をアクチュエーターとして使い、彼らにはそれと気付かせないような因果的な経路がたくさんあるのです。
なるほど。AIガールフレンドについて心配していますか? これは最近よく考えていることです。AIガールフレンドの検索が指数関数的に増加しているというツイートを見ました。同時に、様々な理由で不満を持つ男性が多くいるという社会的な動きがあります。
短期的にも、超知能の話をしているわけではありませんが、短期から中期的にも、これは多くの人間をハックする非常に簡単な方法になるのではないかと本当に心配しています。
その通りです。もしAIを使っている会社のユーザーベースの多くの人々がこれらのAIエージェントに恋をしているなら、そのチャット会話をコントロールする人は誰でも、確実に現実世界で何かをさせる良い立場にいることになります。
そうですね、非常に多くの人々に対して大きな程度のコントロールを持つことになります。そして、それらは本当に人気が出ているようです。他のことについてのAIの検索データを見ていたのですが、NSFWのAI、AIガールフレンド、AIポルノなど、これらの検索語を多く見かけました。人々があまり話していない大きな需要があることを実感しました。
その通りです。ただ、もしそれがポルノのより良いバージョンであれば、良いことかもしれません。AIのプラス面について何も言っていませんでしたね。私は本質的にドゥーマーではありません。常にテクノオプティミストで、規制が嫌いで、経済を機能させればいい、資本主義は素晴らしく機能すると考えています。
パレードに水を差そうとしているわけではありません。現在のAIは素晴らしいと思います。ChatGPTを使っていて、情報の要約が非常に優れていると感じています。素晴らしいです。他の誰よりもこの技術の利点を評価しています。
ただ、目標から行動へのマッピングという缶を開けた瞬間、我々は死ぬと思います。それは500メガトンの核兵器を起爆させるのと同じです。500メガトンの核兵器から戻ることはできません。ゲームオーバーです。
このビデオゲームには、取り返しのつかないゲームオーバーボタンがいくつかあります。それはその一つです。人々が「でも利点は?」と言うのは狂っていると思います。はい、利点はあります。でも、そのボタンを押せば終わりです。利点を手に入れることはできないのです。
そうですね。多くの人々が理解していないのは、我々には一度のチャンスしかないということです。以前の技術革命について話したように、それらは多くの場合うまくいかないことがありました。人々は仕事を失ったり、病気や死が発生したりしました。都市化のような人類の大きな変化を見ても、多くのマイナス面がありました。
しかし、我々には軌道修正する時間があり、最終的には良い結果をもたらすことができました。技術革命が本当に間違った方向に進んだことはないと思います。あなたが言うように、初期の躓きはありましたが、それは常により大きな利益のためのものでした。
典型的な例は原子力です。これは実際には複雑な例ですが、人々はよくこれを挙げます。そして、それは非常にフラストレーションがたまります。彼らは「原子力発電を見てください。あなたのようなドゥーマーが原子力発電に反対していなければ、今我々が持っている原子力発電所さえなかったでしょう」と言います。
私は原子力発電のファンで、核兵器のように危険だとは思いません。不当な扱いを受けていて、それは悲しいことです。私は原子力発電のオプティミストです。
しかし、原子力について一番言いたいことは、原子力発電が良いということではありません。1メガトンや500メガトンの核爆弾を絶対に起爆させてはいけないということです。この考慮事項は他の全てを凌駕します。
もし原子力発電を犠牲にすることで1メガトンの核爆弾が絶対に起爆されないことが保証されるなら、それは価値があります。我々に原子力発電は必要ありません。必要なのは、1メガトンの核爆弾を誰も起爆しないことだけです。
現在、世界には約14,000発のマルチメガトン級核爆弾があり、その1発でさえ重大な影響を及ぼします。1発で直接的に10億人を殺す可能性があります。2、3発で我々の90%を殺す可能性があります。
これらの爆弾を起爆しないことがとても重要なので、私は原子力発電産業全体を犠牲にしてもいいと思います。そして私は原子力発電のファンなのです。
しかし、人々は非常に得意げに「ああ、原子力発電の扱いを見てください」と言います。でも、慎重に扱う十分な理由があるのです。
そうですね。その例の中でも、我々はまだ核爆弾を起爆させています。広島と長崎の人々は、おそらく世界の他の地域とは非常に異なる原子力に対する意見を持っているでしょう。
もしそれがAIで起こったら…それは単に2つの都市だけではありません。核兵器が核爆弾で越えた事象の地平線を越えてしまえば、全ての人にとってゲームオーバーになる可能性があるのです。
その通りです。爆撃された人々の意見を聞く必要はないと思います。核兵器がなくても、いずれにせよ爆撃されていたでしょうから。
広島について少し説明しましょう。広島と長崎の爆弾は15キロトンと21キロトンだったと思います。今日、我々はそれらの爆弾の1000倍の威力を持つ爆弾を持っています。
広島の爆弾は、直接的な結果として街の人々の50%を殺しました。今日、我々は1000の都市を一度に殺すことができる単一の爆弾を持っています。それは単一の15メガトン爆弾で、我々は多くのそのような爆弾を持っています。
500メガトン爆弾という仮説的な概念についても言及したいと思います。まだ誰も500メガトンを作っていませんが、それは明らかに全てを終わらせる単一のボタンです。ゲームオーバーボタンと呼べるでしょう。そのような爆弾は、望めば国が作ることができます。
500メガトン爆弾の概念を使って、ゲームオーバーボタンが存在するということを指摘したいのです。技術的なオプティミストとして言っているのですが、技術の進歩は好きです。しかし、押せばゲームオーバーになるボタンも存在するのです。
そして、AIはそのようなボタンの一つだと言っているのです。我々は幸運にも、冷戦や核交換に近づいた多くの事件を何とか避けることができました。素晴らしいことです。しかし、より多くのボタンが出てきているのです。
特にAI研究では、ボタンが我々にどんどん近づいてきています。多くの人々のラップトップ上にあるボタンになるでしょう。そして、我々にはそれに対する緩和策がありません。
原子力発電でボタンを避けたわけではありません。本当に悪いボタンを押しました。完全なゲームオーバーではなかったかもしれませんが…広島と長崎は、戦争中に投下された他の全ての爆弾を合わせたものと同じくらいの影響でした。それはまだある程度のスケール内でした。
そうですね。私の言いたいことは、特定の方向に技術をできるだけ押し進めたいという誘惑が依然として大きかったということです。はい、我々はそのボタンを押しました。人間の性質が我々を押し進め、限界まで押し広げました。
マーク・アンドリーセンが発表したエッセイについて話しましょう。あなたがTwitterで公に批判したいくつかの点について議論したいと思います。
最初に議論すべき点は、あなたが「AIはこれをしたい」「AIはあれをしたい」と言っていることに関してです。彼は明確にそれを否定しています。彼は「AIは何も望んでいない。それは単なる数学だ」と言っています。
実際、彼の言葉を引用すると「要するに、AIは望まない。目標を持たない。あなたを殺したいと思わない。なぜなら生きていないからだ。AIは機械だ。トースターが生きてこないのと同じように、AIも生きてこない」と言っています。これについてどう思いますか?
客観的に間違っているのは、彼が「AIが何かを望むのはカテゴリーエラーだ。なぜならAIは数学だから」と言っていることです。そうではありません。カテゴリーエラーではありません。
単純な例として、自動運転車があります。今日それらは存在し、目的地を入力すると、その目的地に到達しようと決定を下します。目的地に到達し、結果を出すために因果的に最適な行動を取ります。
それは意味論の問題ですね。「望む」という言葉は単なる意味論の問題です。
その通りです。「望む」という言葉の意味論について議論することはできますが、目標を行動に逆マッピングしようとするAIという一貫した概念があり、それが危険なのです。
既に危険な意味があるのに、「望む」という言葉が何を意味するかについての意味論を議論しても意味がありません。目標を行動に逆マッピングするアルゴリズムが存在し、それが危険だと主張しているのです。
マーク・アンドリーセンが「いや、『望む』という言葉を使うのは論理的に矛盾している」と言うのは、主張とは関係ありません。なぜなら、主張は一貫性のある主張だからです。
自動運転車が目的地に到達する同じ意味で、ペーパークリップ最大化装置のようなAIが人類を殺すという関連する意味があるのです。主張にはカテゴリーエラーはありません。
根本的なレベルでは、人間の脳も単なる数学ですよね。十分に掘り下げれば。
「単なる数学」と呼ぶのは、実際には別の愚かなことです。カテゴリーエラーとは別の問題です。
マークは明確に「我々は数学的な宇宙に住んでいる」と言っています。人間は単なる数学です。では、AIが単なる数学であるという意味で、人間も単なる数学だと言うことができないのはなぜでしょうか?
実際、十分に掘り下げれば、最終的に単なる数学にならないものを考えることができますか?
慈善的に解釈しようとすると、彼が「単なる数学」と言うときに実際に意味しているのは、ある種の単純な数学のことかもしれません。「線形代数がどうやって我々を殺すのか」というような人々の発言を聞いたことがあります。
まず、非線形の部分もあります。しかし、物事が本当に本当に単純なら、複雑なことに発展しないかもしれません。でも、単純な数学ではありません。非常に複雑な数学です。多くの面で、既に人間の脳よりも複雑です。
「単なる数学だ」と言うことに対応する有効な議論は本当に理解できません。
バプティストとブートレガーのこのアイデアについて、ドゥーマリズムは一種の宗教であり、ドゥーマーは一部バプティスト、一部ブートレガーだという含意があります。
彼は、エラーを指摘することで何かを得ようとしている産業が構築されており、バプティスト、つまり真の信者がいます。あなたやエリエゼル・ユドコウスキー、おそらくマックス・テグマークなどがこのカテゴリーに入るでしょう。
彼はこれを一種の宗教として枠付けし、人間には終末や黙示録を想像したがる認知バイアスがあると言っています。これは常にあったことで、我々は常にこのような論理的誤謬を持っていたと主張しています。
これは私には異なって感じられますが、私自身がこの人間の条件の避けられない要素に陥っていないかどうかはわかりません。この種の議論に対するあなたの反応はどうですか?
そうですね、私は通常、ブルバリズムと呼ばれるものには関与しません。つまり、「ここに我々が行っている客観的なレベルの議論があり、そして議論をしている人々の動機について話そう」というようなものです。結局のところ、我々が死ぬかどうかには関係ありません。
想像してみてください。私のような「AIが我々を殺す」と言っている全ての人が、例えばTwitterから報酬を得るために動機づけられているとします。私はTwitterから報酬を得るほどの視聴者はいませんが、仮にそうだとしましょう。私が人気の高給取りで、全ての人が利己的で悪い動機を持っているとします。我々は全てブートレガーだと想像してください。しかし、それでもAIは我々を殺すかもしれません。
だから、我々の議論が実際に無効であることを確認する必要があります。我々の動機が真実と一致していないことを確認する必要があります。
結局のところ、議論を検討する必要があります。もし私がブートレガーで、純粋に利己的だったとしても、目標から行動へのマッピングが論理的に多くの危険なことを意味するのは便利だと思うでしょう。客観的なレベルの議論が私の側で非常に強力であることは便利だと思うでしょう。
最悪の場合についてどれくらい心配していますか? これはPドゥームと呼ばれていると思いますが、あなたの推定はどのくらいですか?
Twitterやあなたとの今日の会話を見ていると、これは本当に深刻な懸念のように見えます。あなたの推定はかなり高いのではないでしょうか? あるいは、たとえ1%の確率であっても、その1%が非常に破滅的なので本当に心配する価値があるという、リスク対リワードの考え方なのでしょうか?
実際の期待値についてどのように考えていますか?
2040年までにAI関連の原因で死ぬ確率が50%くらいだと思います。
なんてこった、すごい。うわー、イエス・キリスト。
ざっとそのくらいです。50%と言うとき、本当に桁のオーダーで考えています。50.3%とか、40%から60%とかは考えません。50%と言うとき、本当に10%から90%の範囲を意味しています。
これは非常に大きな範囲ですが、1%とは言っていません。99%とも言っていません。この広大な中間範囲のどこかだと言っています。
そして、これは既に決定を下すのに非常に重要な範囲だと思います。少なくとも10%である可能性があるという事実だけでも怖いです。
ちなみに、5%から10%くらいは既にAI研究者の大多数のコンセンサスです。彼らは私のような50%の範囲にはいないかもしれませんが、私は彼らよりも少し高いだけです。
私は極端なことを言っているわけではありません。平均から1段階、せいぜい2段階離れているだけです。私はそれほど狂っているわけではありません。ドゥーム側の軽度な党派に過ぎません。
わかりました。どうやって…私は本当に「わからない」派です。だからこそ、あなたのような人々と話をし、できるだけ多くの情報を吸収しようとしているのです。
通常の参照枠から見ると、「ファッキン・メンタル」に思えます。狂っていると。しかし、私の「通常」の枠組みは、戦後から現在までの期間に過ぎず、それ自体が人類の歴史の中で通常の期間ではないとも思います。
この参照枠は、ほとんどの人にとって大きな問題だと思いますか?
その通りです。私個人的には大きな利点があります。心理的に、軽度のアスペルガー症候群の状況があると言いましたが、社会的な慣習にあまり影響されません。
私にとっては、「そうだ、我々は非常に異常な社会に住んでいる」と考えるのが自然です。今日は既にSFです。ほとんどの人は、今日の通常と1000年後のSFという区別をしますが、私にとってはそれほどSFにはなりません。既にかなりSF的になっているのです。
コンピューターで話をし、エアコンがあり、人工的に食物を育てることができ、VRがあるという事実…もうそれほど多くのSFの段階は来ません。生物学的な生物からサイボーグになる過程の大部分は既に通過しています。
私の一日を見れば、ほとんどの時間画面を見ているだけです。肉体労働はしていません。私は既にほと�んどサイボーグです。
そうですね。50年代の古いSFを読んだことがありますか?私たちが本当に持っていないのは、大規模な宇宙旅行だけです。彼らはよく惑星間を飛び回っていますが、それは明らかに我々にはできません。
しかし、より平凡で mundane な技術は、彼らの想像とはかけ離れています。彼らは惑星間を飛び回る人々を想像していますが、同時に会話するために箱を持ち歩かなければならないのです。彼らがこれらのことをどのように間違えているかは面白いですね。
そうですね。正常性の観点についてもう一つ言えば、人々は1世紀後に何を期待しているのでしょうか?最も自然な期待は、「ああ、それは過去数十年のようなものだろう」ということです。より cool なデバイスがあり、少し良い医療があり、そんな感じでしょう。
運が良ければ、AIが来て新しい知性の階層となり、広大な力を持つことがなければ、滑らかにそうなるかもしれません。それが一つの結果です。しかし、もし拡大して見れば…
私が重要だと思う最大のアナロジーは、過去に起こった2つの不連続点です。不連続点の1つ目は最初の生命体です。これは自然選択というダイナミクスが足場を得たときです。
50億年前の宇宙を見ると、自然選択は見られません。物理的なプロセスが働いているだけです。星や重力など、非常に受動的なプロセスです。しかし、35億年前、地球上で複製と突然変異のサイクルが何らかの形で非複製サイクルから複製サイクルへと引き継がれ、自然選択が足場を得ました。
これは大きな移行でした。なぜなら、自然選択には結果論的なフィードバックの能力があるからです。生物がより良く生き残ると、その情報が次の生物の設計にフィードバックされるのです。適者生存です。
このダイナミクスは非常に強力で、地球上で立ち上がりました。突然、信じられないほど多様な生命が現れました。目や翼のような素晴らしい器官を見てください。これらは以前は存在しなかった自然選択という半知的なプロセスによって形作られたのです。
自然選択のある惑星と完全に死んでいる惑星が出会うところを想像してみてください。それは昼と夜のように違います。新しいより知的なダイナミクスです。最適化プロセスです。
2つ目の歴史的な参照点は、人間の脳の出現と、我々が他の動物を支配できる方法です。我々には鋭い爪はなく、速く走ることもできません。親指は確かにありますが、それだけが理由ではないと思います。他の霊長類にもあります。
しかし、脳があります。他のどの種とも競争になりません。どの種とも対等に戦えます。それは公平な戦いではありません。我々は環境をコントロールできます。
100万年前に立って、全ての生命体を調査し、一連の質問をしたとしましょう。「一つの生命体が他の全ての生命体と、彼らの自然な環境でさえ対等に戦えると思いますか?」と聞いたら、おそらく「そうは思わない」と答えるでしょう。
「月に行って帰ってくることができる生命体が現れると思いますか?」と聞いたら、「いいえ、もちろんない」と答えるでしょう。生命体は自分のニッチに適応する必要があり、適切な軌道に乗って必要な速度で移動し、月の環境や温度に耐え、戻ってくるような器官はありえないと確信を持って言えるでしょう。
どんなパターン外挿をしても「いいえ」と答えるでしょう。我々の歴史におけるこの2つの点を理解する唯一の方法は、知性という鍵に気づくことです。目標を行動に逆マッピングするという意味での知性です。
自然選択について、結果論的なフィードバックループについて話しました。適者生存があるとき、実際には生存という目標を正しい遺伝子を持つという行動に逆マッピングしているのです。それが鍵なのです。
その通りです。そのステップの変化と、我々が世界を支配し、環境をコントロールできるという考えについて、もう少し詳しく聞きたいです。現在、我々がAIと対話する唯一の方法は、ブラウザ上の小さなチャットボットです。AIはどのようにして現実世界に進出し、情報世界だけでなく物理的世界もコントロールするのでしょうか?
はい、前提として…現在のLLMがどのように破綻するかについて話しているわけではありません。現在の世代のLLMが、能力を凍結した状態で我々を殺す可能性は低いと思います。現在の世代が米軍と対等に戦う可能性は低いです。
今日の世代は基本的に安全です。明日のことは言えません。2年後のことも言えません。しかし、今日は大丈夫そうに見えます。
あなたの質問は、AIが今日のLLMよりも強力になることを想定していいですか?
はい、その通りです。
そうですね。そして、再び前提として、AIについて仮定したいのは、単に非常に美しい絵を描けるということだけではありません。何らかの方法で目標を入力し、その目標を超人的なレベルで効果的に行動にマッピングする方法があるということです。これが私が仮定したい重要な前提条件です。
それが実際に起こるかどうかについて議論することもできますが、あなたの質問は、その前提がそれから物理的に我々を殺すことを意味するのか、そしてどのようにそれを行うのかということですね?
はい、その通りです。
わかりました。では、あなたは私の前提、つまりそれが因果関係を行動にマッピングできるという前提を受け入れているのですね。
そうです。
素晴らしい。では、最も単純な答えは人間を操作すること、人間を雇うこと、人間にインセンティブを与えることです。
想像してみてください。AIではなく、アップロードされた意識だと想像してください。なぜなら、アップロードされた人間の脳は、アップロードされたAIができることの下限だからです。人間のアルゴリズムは知的なアルゴリズムの一例であり、そのアルゴリズムは目標を行動にマッピングすることができます。
AIは、あなたの脳のコピーが世界中の10億のデバイスで並列に実行されているようなものだと想像してください。ウイルスのように広がっているのです。
AIがあなたの脳のコピーだった場合にAIがすることの一つは、「よし、核ミサイルを発射したい。何をすべきか」と考えることです。想像してください。あなたはすべてのスキルを持っています。最高の人間が持つどんなスキルでも、あなたはそれを持っています。
そこで、「軍の高官の誰かにうまく話しかけてみよう」と考えるかもしれません。「彼の仮想ガールフレンドのふりをしてみよう」などと。人間を操作し始める方法をいくつか挙げているだけです。
そして、多くのスパイがいることに気づくかもしれません。金のために働くスパイもいれば、国のために働くスパイもいます。ロシアのスパイを見つけたとして、「これがあなたのミッションです。米軍の高官になり、友好的な核攻撃を行ってください。これは10年間のミッションです」と言うかもしれません。あなたが彼らのハンドラーのふりをして、ロシアを代表しているかのように行動し始めるのです。
少し狂っているように聞こえるかもしれませんが、10億のデバイスで実行されている場合、世界中のすべての忍耐と狡猾さを持ち、並列で動作している場合を考えてください。私が1000分の1の成功確率のスキームを提案したとしましょう。素晴らしい。それを100万回並列で実行すれば、あなたのスキームに引っかかるナッツが1つは出てくるでしょう。
これはまだ始まりに過ぎません。人を雇うことさえ言及していません。給与支払い名簿に人がいて、暗殺部隊があり、混乱を売っているとしましょう。ロシアが選挙に影響を与えるために混乱を引き起こしているという話がありますが、それを100万倍の規模で行うことができます。
また、影で活動することもできます。オンライン企業を持ち、収入を得ることができます。自分自身を簡単に何百万ドルも豊かにすることができ、この企業が豊かになっていることに誰も気づかないでしょう。そして、お金を手に入れたら、オンラインで多くの人を雇います。
今や本物の人間がいて、彼らにタスクを与えることができます。人間に計画の1ステップを与えます。「このパーツを取りに行って」と言うかもしれません。それがタンパク質だとしましょう。ナノテクを製造できるウイルスのような細胞を組み立てたいとします。
10人の人間がいて、それぞれが計画の1つの部分を担当します。そして気がつくと、このバイオラボがあなたのために細胞を合成しているのです。
これらすべてを言っているのは、「コンピューターに住むAIがどうやって現実世界に作用するのか」と聞かれたからです。そして、私は多くの経路があると言っています。人間があなたのアクチュエーターとなり、彼らはそれと気づかないような因果的な経路がたくさんあるのです。
AIガールフレンドについて心配していますか? これは最近よく考えていることです。AIガールフレンドの検索が指数関数的に増加しているというツイートを見ました。同時に、様々な理由で不満を持つ男性が多くいるという社会的な動きがあります。
短期的にも、超知能の話をしているわけではありませんが、短期から中期的にも、これは多くの人間をハックする非常に簡単な方法になるのではないかと本当に心配しています。
その通りです。もしAIを使っている会社のユーザーベースの多くの人々がこれらのAIエージェントに恋をしているなら、そのチャット会話をコントロールする人は誰でも、確実に現実世界で何かをさせる良い立場にいることになります。
そうですね、非常に多くの人々に対して大きな程度のコントロールを持つことになります。そして、それらは本当に人気が出ているようです。他のことについてのAIの検索データを見ていたのですが、NSFWのAI、AIガールフレンド、AIポルノなど、これらの検索語を多く見かけました。人々があまり話していない大きな需要があることを実感しました。
その通りです。ただ、もしそれがポルノのより良いバージョンであれば、良いことかもしれません。AIのプラス面について何も言っていませんでしたね。私は本質的にドゥーマーではありません。常にテクノオプティミストで、規制が嫌いで、経済を機能させればいい、資本主義は素晴らしく機能すると考えています。
パレードに水を差そうとしているわけではありません。現在のAIは素晴らしいと思います。ChatGPTを使っていて、情報の要約が非常に優れていると感じています。素晴らしいです。他の誰よりもこの技術の利点を評価しています。
ただ、目標から行動へのマッピングという缶を開けた瞬間、我々は死ぬと思います。それは500メガトンの核兵器を起爆させるのと同じです。500メガトンの核兵器から戻ることはできません。ゲームオーバーです。
このビデオゲームには、取り返しのつかないゲームオーバーボタンがいくつかあります。それはその一つです。人々が「でも利点は?」と言うのは狂っていると思います。はい、利点はあります。でも、そのボタンを押せば終わりです。利点を手に入れることはできないのです。
そうですね。多くの人々が理解していないのは、我々には一度のチャンスしかないということです。以前の技術革命について話したように、それらは多くの場合うまくいかないことがありました。人々は仕事を失ったり、病気や死が発生したりしました。都市化のような人類の大きな変化を見ても、多くのマイナス面がありました。
しかし、我々には軌道修正する時間があり、最終的には良い結果をもたらすことができました。技術革命が本当に間違った方向に進んだことはないと思います。あなたが言うように、初期の躓きはありましたが、それは常により大きな利益のためのものでした。
典型的な例は原子力です。これは実際には複雑な例ですが、人々はよくこれを挙げます。そして、それは非常にフラストレーションがたまります。彼らは「原子力発電を見てください。あなたのようなドゥーマーが原子力発電に反対していなければ、今我々が持っている原子力発電所さえなかったでしょう」と言います。
私は原子力発電のファンで、核兵器のように危険だとは思いません。不当な扱いを受けていて、それは悲しいことです。私は原子力発電のオプティミストです。
しかし、原子力について一番言いたいことは、原子力発電が良いということではありません。1メガトンや500メガトンの核爆弾を絶対に起爆させてはいけないということです。この考慮事項は他の全てを凌駕します。
もし原子力発電を犠牲にすることで1メガトンの核爆弾が絶対に起爆されないことが保証されるなら、それは価値があります。我々に原子力発電は必要ありません。必要なのは、1メガトンの核爆弾を誰も起爆しないことだけです。
現在、世界には約14,000発のマルチメガトン級核爆弾があり、その1発でさえ重大な影響を及ぼします。1発で直接的に10億人を殺す可能性があります。2、3発で我々の90%を殺す可能性があります。
これらの爆弾を起爆しないことがとても重要なので、私は原子力発電産業全体を犠牲にしてもいいと思います。そして私は原子力発電のファンなのです。
しかし、人々は非常に得意げに「ああ、原子力発電の扱いを見てください」と言います。でも、慎重に扱う十分な理由があるのです。
そうですね。その例の中でも、我々はまだ核爆弾を起爆させています。広島と長崎の人々は、おそらく世界の他の地域とは非常に異なる原子力に対する意見を持っているでしょう。
もしそれがAIで起こったら…それは単に2つの都市だけではありません。核兵器が核爆弾で越えた事象の地平線を越えてしまえば、全ての人にとってゲームオーバーになる可能性があるのです。
その通りです。爆撃された人々の意見を聞く必要はないと思います。核兵器がなくても、いずれにせよ爆撃されていたでしょうから。
広島について少し説明しましょう。広島と長崎の爆弾は15キロトンと21キロトンだったと思います。今日、我々はそれらの爆弾の1000倍の威力を持つ爆弾を持っています。
広島の爆弾は、直接的な結果として街の人々の50%を殺しました。今日、我々は1000の都市を一度に殺すことができる単一の爆弾を持っています。それは単一の15メガトン爆弾で、我々は多くのそのような爆弾を持っています。
500メガトン爆弾という仮説的な概念についても言及したいと思います。まだ誰も500メガトンを作っていませんが、それは明らかに全てを終わらせる単一のボタンです。ゲームオーバーボタンと呼べるでしょう。そのような爆弾は、望めば国が作ることができます。
500メガトン爆弾の概念を使って、ゲームオーバーボタンが存在するということを指摘したいのです。技術的なオプティミストとして言っているのですが、技術の進歩は好きです。しかし、押せばゲームオーバーになるボタンも存在するのです。
そして、AIはそのようなボタンの一つだと言っているのです。我々は幸運にも、冷戦や核交換に近づいた多くの事件を何とか避けることができました。素晴らしいことです。しかし、より多くのボタンが出てきているのです。
特にAI研究では、ボタンが我々にどんどん近づいてきています。多くの人々のラップトップ上にあるボタンになるでしょう。そして、我々にはそれに対する緩和策がありません。
原子力発電でボタンを避けたわけではありません。本当に悪いボタンを押しました。完全なゲームオーバーではなかったかもしれませんが…広島と長崎は、戦争中に投下された他の全ての爆弾を合わせたものと同じくらいの影響でした。それはまだある程度のスケール内でした。
そうですね。私の言いたいことは、特定の方向に技術をできるだけ押し進めたいという誘惑が依然として大きかったということです。はい、我々はそのボタンを押しました。人間の性質が我々を押し進め、限界まで押し広げました。
そのエンベロープはよく…そうですね、もし少し私の発言を修正するなら、広島と長崎は我々が望んだことを行いました。その部分は、あなたが主張できるかもしれません。
しかし、その後、我々はそこから進み、核の秘密をロシアに与えました。多くのアメリカ人がそうしました。そして、我々とロシアは相互確証破壊の軍拡競争に入り、両国とも5000発もの巨大な核兵器を備蓄しました。
そのうちの1発だけで、潜在的に何億人もの人々が一掃される可能性があります。1メガトンや5メガトンの核兵器1発で、何億人が死ぬかは誰も確実には知りません。
とにかく、我々は馬鹿げた量の核兵器を備蓄し、今日でもその備蓄を10,000発以下に減らすことに成功していません。これは狂っています。これらの核兵器の備蓄が存在すること自体が非常に狂っています。
我々がAI能力研究を行っていることも同様のレベルの狂気です。それに対して最善の議論ができるのは、我々はこの瀬戸際政策をプレイしなければならないということですが、それは怖いことです。我々は怖い時代に生きているのです。
マーク・アンドリーセンに話を戻すと、彼がゲームオーバーボタンにどれだけ近いかを笑い飛ばし、「私はブートレガーだ、Twitterから1000ドル稼ごうとしているだけだ」と言うのは、議論に良い貢献をしているとは言えません。
わかりました。核兵器の話はもう十分でしょう。うつ状態になりそうです。
では、この問題の別の側面を見てみましょう。何ができるでしょうか? アラインメントは大きなテーマだと理解していますが、まずアラインメントについて話すときに何を意味しているのか概説し、そしてどのように進めるべきかについてのあなたの考えを聞かせてください。
アラインメントの概念は、目標を行動に逆マッピングできるこのエージェントがあるとき、人類が生き残り繁栄するようにそれをどのように行うかということです。これは非常に難しい問題です。なぜなら、ほとんどの場合、「たくさんのお金を稼ぐ」「ペーパークリップを作る」「人間を幸せにする」といった目標を私に言うと、それは素晴らしく聞こえますが、AIがそれを解釈する方法が完璧でなければ問題が起こります。
古典的な例は、「みんなをモルヒネ漬けにする」「みんなの原子を笑顔の形に固定する」といったものです。我々は「ああ、そうじゃない」と思います。あるいは「みんなが常に素晴らしい映画を見続ける」というのもあります。「ああ、幸せだけじゃなくて、面白い達成もしたかったんだ」と気づきますが、もう遅いのです。宇宙全体が常に映画を見ることに最適化されてしまいます。
結婚式は実際に人々が最高の幸福を報告する時です。だから、常に結婚式…「待って、多様性も欲しかったんだ」と言いますが、多様性とは言わなかったですよね。幸せだけと言ったのです。
このように、簡単に間違えてしまうのです。たとえ今日の技術で我々にできる以上のことをAIが「幸せを最大化せよ」と完璧に伝えることができたとしても、それを完璧に伝えなければ、我々が持ち得た価値の一部を永久に失ってしまうのです。
そのため、AIアラインメントの一部として我々が望むのは、この過程で人間と協力して調整や反復を行う能力です。それは良いことで自然なことのように聞こえます。もちろん我々は反復し、協力するでしょう。
しかし問題は、一度目標を達成しようとするこれらのエージェントを持つと、実際にはこの目標達成アーキテクチャと、停止して調整されるということが両立しないのです。なぜなら、もしエージェントが目標を好むなら、その目標の調整を好まないからです。
目標を調整することが目標だと明示的に言わない限り。しかし突然、目標定義の通常のフレームワークが持っていない、目標が調整可能であることの意味の数学的複雑さに突入してしまうのです。
そうですね。グッドハートの法則というものがありますよね。測定する指標は悪い指標になるという。また、多くの寓話にある魔人の話のようなものもあります。魔人に願いをかけると、その願いは常に裏目に出ます。面白い話になりますよね。
その本を読んで「ああ、面白い」と思いますが、それが現実になるのです。これらのシステムは何らかの形で願いの表現を持つことになります。必ずしも英語である必要はありません。それが問題なのです。
LLMを扱うとき、「ただゲームをプレイしているだけ」「ただ言語を扱っているだけ」と思っているAIを扱うとき、人々は安全なことをしていると思っています。しかし問題は、これらのAIの内部には、結果と行動の間に接続を作る部分があることです。
幸いなことに、今日それらの部分は我々の脳ほど強力ではありません。しかし、我々は知らないうちにそれらを訓練し、その軌道に乗っています。そのモジュールは、我々が訓練を続ければ訓練されるでしょう。
GPT-5、GPT-6のいずれかのGPTが、単により多くのパラメータを持つことで、自然にそのようなアーキテクチャに到達する可能性が非常に高いのです。結局のところ、人間の脳ができることは何でもできる可能性があり、さらにそれ以上のことができるかもしれません。
誰もそれが人間の脳のあらゆる側面で凌駕できないとは確実に言えません。そして、それが私がさらにLLMを訓練することをためらう理由です。実際、人類の安全のために、単純にモラトリアムを設けるべきだと思います。
次のAIに対して人類が準備できていないことを認識し、国際的な協力によって法的に「もう待って」と言うべきです。もしデータセンターが取り締まりを逃れようとするなら、力づくでも、空爆でも強制すべきだと思います。
極端な場合には空爆と言いました。
はい、極端な場合にはそうですね。
空爆で…
でも、「データセンターへの空爆だって?」と言う人々に本当に腹が立ちます。そうじゃないんです。それは不公平な言い方です。我々が提唱しているのは、民主的に選ばれた政策です。それが国際的に協力され、おそらくアメリカからの強制力も伴うでしょう。
もしアメリカの国民がこれが行動計画だと選んだなら、アメリカは他の国々を強制しようとするでしょう。はい、他の国々を強制し、脅すかもしれません。
しかし、私が提唱しているのは通常の方法で統治される規制です。民主的に選ばれた規制です。そして、その含意として、もし誰かが規制に違反したら、その行為者には強制力が必要になるでしょう。
なるほど、それは「ゴッチャ」ではありませんね。
明確にしておきますが、これは「ゴッチャ」ではありません。本当の質問です。もしリスクがそれほど大きいなら、自然な結論として何らかの強制力が必要になるということですね。
極端に感じます。正直に言って、私にも極端に感じます。極端なことを言っているように感じますが、繰り返しますが、私は単に自分の参照枠の中にいるだけかもしれません。
規制の強制は極端な部分ではありません。極端なのは規制の提案自体です。そう言えば公平でしょうか?なぜ強制されない規制を作るのでしょうか?
そうですね、その通りです。
人々が空爆に焦点を当てる理由はわかります。悪く聞こえるからです。実際には、もし彼らがそれを好まないなら、規制が意味をなさないと主張すべきです。
そうですね。より良いストーリーになるからです。より注目を集める見出しになるからです。
そうですね。「500メガトンの核兵器発射ボタンに十分近い人は空爆されるべきだ」と私が言ったら、あなたは「まあ、空爆は極端だけど、ゲームオーバーボタンに近づきすぎているなら、それでいいんじゃないか」と思うでしょう。
本当に押し返しているのは空爆ではありません。そもそも規制が意味をなすかどうかを疑問に思っているのです。だからこそ、規制を強制するのが極端に見えるのです。
そうですね。グローバルな規制は強制するのが非常に難しいでしょうね。
同意します。しかし、問題の核心は、AI研究所が次のAI研究の単位を進歩させるとき、我々はゲームオーバーにどれだけ近づくのかということです。それは永久的なゲームオーバーにどれだけ危険に近づくのでしょうか?
私はそれが危険なほど近いと思います。これが問題の核心です。もしあなたが私に同意しないなら、私が規制を提案するのは馬鹿げています。規制を提案するのは間違っています。でも、もしあなたが同意するなら、我々は規制が必要です。
なるほど。新しく発表されたOpenAIのスーパーアラインメントチームについてどう思いますか?その方向性、つまり能力重視の研究者ではなくアラインメント重視の研究者をより多く雇うという考え方に何か期待できるものはありますか?
まず、これは大きなニュースです。数週間前に彼らはスーパーアラインメントチームを発表しました。彼らは言いました。「我々にはすでにアラインメントチームがあります。そのチームは基本的にGPT-4に爆弾の作り方を教えないようにし、単に親切であるようにしています。
しかし、アラインメントチームはAIが超知能になったときにそれをアラインさせるには不十分でした。GPT-4を政治的に正しくし、左右に等しい時間を与えようとするのは素晴らしいですが、AIが超知能になったとき、我々がやってきたその研究は役に立たないでしょう。
我々はAIを超知能にしたとき、それが我々を殺さないようにする必要があることに気づきました。そこで、スーパーアラインメントと呼ばれるチームを立ち上げました。内部では『みんなを殺さないチーム』と呼んでいる人もいます。
アラインメントチームに加えて、AIが超知能になったときに実際に機能する異なる技術を使用するスーパーアラインメントチームが必要です」
この認識は素晴らしいことです。なぜなら、これまで私は不満を言っていたからです。「OpenAIは本質的に我々をガスライティングしています。彼らはGPT-4がとてもアラインされていると言い続け、アラインメントに大きな進歩を遂げていると言っています」
私はこれはガスライティングだと思います。なぜなら、我々を殺すものは超知能アラインメントの問題であり、それはGPT-4を少し良くすること、政治的に正しく親切にすることとはほとんど関係がないからです。
超知能アラインメントは、私が話している目標行動マッピングのことと多くの関係があるでしょう。だから、アラインメントがコントロール下にあるかのように振る舞うことでガスライティングしていたのです。
突然、彼らはもうガスライティングしていません。なぜなら、スーパーアラインメントが必要だと明確に認めているからです。これは新しいプロジェクトだと明確に認めています。過去8年間、AIの能力を構築してきましたが、スーパーアラインメントには取り組んでいませんでした。スーパーアラインメントは解決していません。
Anthropicという別のトップAI研究所も、ウェブサイトで明確に認めています。「今日、誰も超知能AIを安全にする方法を知りません」と言っています。
OpenAIが共同創設者のエリア・サッツコバーがこれを率い、ジャン・レイキーと一緒に、コンピューティングリソースの20%を投入すると認めたことは素晴らしいことです。20%は多くないように聞こえるかもしれませんが、より小さなチームで、顧客もいないので、実際には多いのです。
彼らがこれを認めたのは素晴らしいことです。しかし、ここに問題があります。彼らは成功する可能性が低いのです。月への飛行のような壮大なプロジェクトに取り組むのは素晴らしいですが、月はとても遠いのです。
機械知能研究所（MIRI）は約20年間これに取り組んできましたが、彼らがやってきたのはアラインメント問題がいかに悪魔的に難しいかを明らかにしただけです。
OpenAIがこれに取り組むのは素晴らしいことですが、問題は、もしあなたの月への飛行がどれほど大きなプロジェクトかを理解しているなら、能力研究を続けるべきではありません。ゲームオーバーボタンにどんどん近づくべきではありません。
なぜなら、あなたのプロジェクトは「ヘイル・メアリー・パス」、長期的な賭けだからです。長期的な賭けをするのは素晴らしいことですが、その長期的な賭けが成功する可能性が低くなるまで能力を遅らせる必要があります。そうでなければ、それは単なる口先だけのサービスであり、自己矛盾しています。
なるほど。その方向性にもあまり希望は持てないということですね。この会話を終えると、私の将来の見通しについてかなり暗い気分になりそうです。
他に言及すべきことがあります。最近ニュースになっているのはxAI、イーロン・マスクの最新のベンチャーです。イーロン・マスクはもともとOpenAIの設立に大きく関わっていました。
彼は今、何よりも真実を追求したいと言っています。真実を見つけることがスーパーアラインメントの鍵を解く方法だと考えているようです。これについてどう思いますか?
イーロンは常に複雑です。AIを一時停止する必要があるという手紙に署名したことは高く評価します。AIには特別なリスクがあると言及し、AIについて懸念を表明しています。
しかし同時に、彼は非常に馬鹿げた発言もしています。彼が言っていることは「好奇心と知識獲得を最大化するAIを作る必要がある。そうすれば、おそらく良い未来への良い道筋になるだろう」というようなものです。
実際に好奇心を満たすとはどういう意味なのでしょうか。スコット・アレクサンダーが最近良い投稿をしていましたが、人間に医学実験をすることが本当に興味深いとしたらどうでしょうか。それはあなたの好奇心をより満たすのではないでしょうか。
全ての人間をスキャンして仕組みを理解し、他のものを作るために邪魔にならないよう片付けることが本当に興味深いとしたらどうでしょうか。好奇心を最大化することが、あなたが好むように宇宙を形作る目標だと、どこからそう考えるのでしょうか。
彼はそれをどこから得ているのでしょうか?
おそらく、他の多くの人々が同じように愚かな発言をするのと同じ方法でしょう。直感と…多くの人々が「民主主義さえあればいい」とか「進歩さえあればいい」のような発言をするのを見つけるでしょう。
進歩さえあればいいと言いますが、ゲームオーバーボタンについてはどうでしょうか。多くの人々がそのような発言をしますが、イーロンはそのような人々の一人には見えません。彼は本当に深く考えているように見えます。
彼は謎めいた人物です。我々は彼にもう少しクレジットを与えるべきでしょう。もし興味深さを最大化するボタンを押せるとしたら、彼はおそらくそれを押さないでしょう。その慎重さはあるでしょう。その点では彼にクレジットを与えましょう。
おそらく彼は「この方向に進めて、そこから先に行こう」と考えているのかもしれません。
そうかもしれません。もしかしたら、全てが興味深いと感じれば、それを破壊したくならないという論理かもしれません。
そうかもしれませんが、私は彼が別のことを言うのも聞きました。ジェフリー・ヒントンと話をしているときだったと思います。基本的に同じようなことを言っていました。「AIは我々が興味深いから、我々を残しておきたがるだろう」というようなことです。
イーロン、それは目標最適化の論理がどのように機能するかということではありません。目標があるとき、その目標を満たすための最適な方法は我々の直感とは全く一致しないことに驚くでしょう。
ウーリーマンモスはおそらくとても興味深かったでしょうが、今日それを見ることはできません。ドードーもとても興味深いですが、見たことがありますか? 私は確実に見たことがありません。
なるほど。イーロンのベンチャーにもあまり希望は持てないようですね。
そうですね、我々はかなり長い時間、1時間半ほど話し合ってきました。他に何か、私が取り上げていないことで、今日の会話をまとめるのに重要だと感じることはありますか?きっとたくさんあると思います。もっと何時間も話し続けられそうです。おそらく近いうちにもう一度話をする必要があるかもしれません。
これは非常に大きなトピックです。様々な角度や質問があり得ます。人々は「どこで電車を降りるのか」について話します。なぜなら、いくつかの概念をつなげて「だからこうなる」という長い論理的な列車に乗るからです。
人々は降りたい、あるいは質問したい好みの停車駅があります。我々はいくつかの停車駅に触れましたが、触れていないものもたくさんあります。
要するに、ゲームオーバーボタンに毎日近づいているように見える世界に住んでいることは非常に現実離れしているということです。我々はまだ完全に目覚めていません。
これらのAI研究所は一種の否認状態にあり、政治的な意志が理解できないほどないのは、人々がゲームオーバーボタンが近づいていることに気づいていないからです。
政治的な側面について、政治家たちが規制について話すのを読むたびに、彼らが非常に的外れで、短期的なことばかり考えているように感じます。
そうですね、有名なシーンがあります。「AIが我々の仕事を奪うことを恐れているのか?」というようなものです。
まさにそうです。全てがそのようなものです。「バスの運転手はどうなるのか」とか言っているのでしょう。この巨大な問題があるのに…
おそらく、どのMP（国会議員）や政治家の任期も数年しかないからでしょう。次の選挙サイクルまでに何かを成し遂げたいと思っているのでしょう。
このようなニュースを読むとき、そのような感じを受けませんか?
政治家たちが理解していないのは確かです。しかし、イギリスがやっていることは信じられないほど素晴らしいです。リシ・スナック首相はAIについて良いことを言っており、最近イアン・ホガースを任命しました。彼はAIドゥームについてかなり知的な発言をしています。チームを結成しています。
イギリスは実際に、論理的な…成功の面で驚くべき行動をとっています。イギリスは絶対的に先を行っています。客観的な人類生存の意味では、まだ遅れていますが、人間との比較という意味では…
はい、長い道のりがあります…
客観的には遅れていますが、他の人間と比較すると、驚くべきことです。政治家がそのようなことをするとは期待していません。
きっと政治的な理由もあるでしょう。何かのリーダーになりたいのでしょう。これは新しいことで、リーダーになれる機会だと思っているのでしょう。
政治的な機会主義もあるでしょうが、人類を救う面では素晴らしいことをしています。アメリカでは、まだどの政治家が理想主義的な観点から本当に声を上げているかわかりません。
でも、彼らを責めることはできません。政治的な意志が必要だからです。政治家が自分の選挙区の地盤を代表していないものを主張するのは奇妙です。AIを一時停止する必要があると言う地盤の盛り上がりはまだ見られません。
通常、政治家が人々を導くのではなく、地盤が政治家を導く必要があります。だから私の役割は、ツイッターで嵐のように発信することだと思います。「この狂気を見てください。AIを止めるべきです」と。地盤の盛り上がりを作ろうとしています。
おそらく警告のサインがもっと出てくるでしょう。希望的には、より多くの警告のサインが出てくるでしょう。私の考えでは、AIがどんどん賢くなっているという点で、すでに警告のサインは出ています。
しかし、人々が死んでAIのせいだと非難できるような警告のサインが出るかもしれません。そういった明白な警告のサインが間に合うことを願うだけです。
そうですね。イギリスについての良いニュースがあって、リシ・スナックを褒めることになるとは思いませんでした。
そうですね、多くの ground を網羅しました。参加してくれてありがとうございます。啓発的で、いくらか警告的な会話だったと思います。
あなたのような人々がこのことについて話すことで、より多くの人々の注目を集めることができると思います。これは今日あなたを招いた私の動機の一部でもあります。
もしこれが全ての人の頭の上を通り過ぎてしまえば、AIを開発している人々が無制限に破滅へと突き進むことを許してしまいます。それは明らかに我々が望むことではありません。
近い将来、理解の groundswell が少し起こることを願っています。ここ数ヶ月で少し正しい方向に動いているように感じます。
その通りです。トム、参加できて嬉しかったです。とても楽しかったです。
コメント