87,680 文字
メガン・バレット：私があなたに感覚スコアを提示しない理由は、今のエラーバーがあまりにも大きく、その数字がほとんど無意味に近いからです。というのも、私は非常に多くの証拠を待っているからです。本当にたくさんの証拠を。これが私にとっては本当に本質的な特徴だと思います。
二つ目は、特に専門家として、その数字が過度に強調されることを心配していることです。誰かが必ずその数字をスプレッドシートに入力し、そのスプレッドシートを使ってあらゆる種類の決定を下すでしょう。しかしその数字は、あなたと私が今3時間かけて議論し、まだ表面をかじっただけの複雑さを反映していません。私は複雑さと繊細さについて話したいのであり、数字はそれを示しません。
また、もしあなたが昆虫が感覚を持つ可能性について少しでも信念を更新したなら、規模の問題が残りの課題をあなたにとって深刻な場所へと導くということを理解することも重要だと思います。昆虫はとても、とても、とても多く存在するので、もしあなたがそれを少しでも真剣に受け止めるなら、これは取り組むべき課題だと考える必要があります。
ルイザ・ロドリゲス：リスナーの皆さん、こんにちは。ルイザです。今聞いていただいたのは、昆虫神経生物学者のメガン・バレットです。昨年彼女にインタビューした際、昆虫についての驚くべき事実が、無脊椎動物の感覚の可能性について私の目を大きく開かせました。
今日は過去の番組からお気に入りの部分をまとめた別の編集版をお届けします。今回のトピックは、リスナーの皆さんも知っているかもしれませんが、私が完全に魅了されているテーマです。それは、デジタルなものも含めた人間以外の心における意識と感覚です。
過去数年間、この研究分野は本当に盛り上がりを見せており、このエピソードで聞いていただく多くのゲストは各分野のパイオニアです。昆虫学者、哲学者、機械学習研究者、神経科学者など、彼らは皆、意識とは何か（人間においてさえも！）、私たちとは異なる心でそれをどのように認識するか、そして他の存在が喜びと痛みを経験する能力についてどれほど心配すべきかといった、つかみどころのない問題の様々な角度を研究しています。
お聞きいただくのは、人工意識が可能である理由についてのデヴィッド・チャーマーズ、道徳的配慮に値するAIシステムの閾値についてのジェフ・セボ、新生児が痛みを感じることができないと私たちがごく最近まで考えていたことについてのジョナサン・バーチ、デジタルマインドに対する巨大な苦痛を引き起こす可能性についてのロバート・ロング、意識と感覚の進化的起源、そして脳のサイズと感覚が関連しているかどうかについてのメガン・バレット、さらに多くの方々です！
また、このエピソードがかなり長いことにお気づきかもしれません。このトピックが重要であり、過去にこのトピックに関する長いエピソードがリスナーを妨げることはなかった（むしろ逆で、デヴィッド・チャーマーズとの4時間40分のマラソンセッションは最も人気のあるエピソードの一つでした！）ことを考慮して、これ以上短くしないことにしました。
それでは、お楽しみください！
人工感覚について考える際に何を思い浮かべるべきかについてのロバート・ロング
ルイザ・ロドリゲス：私は基本的に、人工感覚がどのようなものになるのか、あまり良い感覚を持っていません。ここで何について話しているのか、理解を助けていただけませんか？
ロバート・ロング：ええ。つまり、それがどのように見えるかわからないというのは、全く問題なく正しいことだと思います。私たちが話していることについて言えば、短い答え、あるいはそれへの短い導入は、動物の感覚の問題について考えることだと思います。それは構造的に非常に似ていると思います。
つまり、私たちは多くの人間以外の動物と世界を共有しており、彼らは私たちとは大きく異なって見え、私たちとは大きく異なって行動します。彼らは私たちとややく似ています。私たちは同じ物質でできており、彼らは脳を持っています。しかし、野原を飛び回る蜂を見ているとき、私たちはしばしばこの疑問に直面します。その蜂が知的な行動をしていることはわかりますが、同時に疑問に思います。その蜂であることがどのようなものかということがあるのでしょうか？もしそうなら、その蜂の経験はどのようなものでしょうか？そして、それは蜂をどのように扱うべきか、あるいは蜂と世界をどのように共有しようとするべきかについて何を意味するのでしょうか？
AI感覚の一般的な問題は、その疑問であり、そしてさらに困難でもあると思います。つまり、私はそれを知的な、あるいは知的に見える複雑なシステムのこの種の新しいクラスという観点で考えています。そして、彼らが何をできるか、どのようにそれを行うかを疑問に思うことに加えて、彼らであることがどのようなものかが今あるか、あるいは今後あるかどうか、そして彼らが経験を持つかどうか、痛みや喜びのようなものを持つかどうかも疑問に思うことができます。
それは人々に自然に起こる疑問であり、私にも起こりました。そして私はここ数年間それに取り組もうとしています。
ルイザ・ロドリゲス：もっと基本的な質問があります。AI感覚について話すとき、短期的にも長期的にも、私たちは私のラップトップのように見えるもの、その上にコードがあり、何らかの感情や経験を持つようにコード化されているものについて話しているのでしょうか？
ロバート・ロング：ええ、確かに。私は「人工感覚」という用語を使います。非常に一般的に言えば、それは私たちとは異なる物質、特にシリコンと、私たちがこれらのものを動かす計算ハードウェアでできたものです。その上に構築され、その上で計算を実行するものが経験を持つことができるでしょうか？
想像する最も直接的なケースは、おそらくロボットでしょう。なぜなら、そこでは、感覚があるかどうかを尋ねようとしている物理システムが何であるかを明確に考えることができるからです。今日のより非身体的なAIシステム、ChatGPTのようなものでは、事態はより複雑になります。なぜなら、そこでは、それは一定の意味で仮想エージェントのようなものだからです。そして脳エミュレーションも仮想エージェントのようなものでしょう。しかし、それらすべてについて、ある説明レベルで、あるいはシステムを切り分ける何らかの方法で、「ここに何らかの主観的経験はあるか？ここに意識はあるか？ここに感覚はあるか？」と尋ねることができると思います。
ルイザ・ロドリゲス：ええ、素晴らしい。質問している理由は、長い間、人々が「デジタルマインド」や「人工感覚」という用語を使うとき、SF由来の漠然としたイメージはありますが、私たちが何について話しているのかほとんどわからないという感覚を持っていたからです。しかし、それは様々な異なるもののように見える可能性があり、その核心は感覚を持つもの、おそらく人間に似た方法で、おそらく人間とはかなり異なる方法で感覚を持つが、生物学的形態ではなく、シリコンでできた何らかのグループに存在するもの、ということのようですね。基本的にそれは正しいですか？
ロバート・ロング：ええ。そして言うべきことは、シリコンはここではそれほど深い意味を持たないということです。しかし、ええ、コンピューター上で動作し、GPU上で動作することと関係のある何かです。私は確実にそれを切り分けることができ、ものごとの哲学的分類用語の種類に入ることができます。しかし、ええ、それが私が指し示している一般的なことです。
そして私は特にAIシステムの問題に取り組んできました。全脳エミュレーションについての疑問は異なると思います。なぜなら、私たちはある説明レベルで、定義により人間の脳と極めて似ている何かを持つことになるからです。そして、それがエミュレートされた脳であることが重要かどうか疑問に思うことができ、人々はそれについて疑問に思ってきました。
AIの場合、それはさらに困難です。なぜなら、彼らは異なる物質でできており、おそらくややす仮想的であるだけでなく、彼らはまた、ある種奇妙で、必ずしも人間の脳と同じ原理に沿って動作しているわけではないからです。
AIシステムが道徳的配慮に値する閾値についてのジェフ・セボ
ジェフ・セボ：AIシステムに道徳的配慮を拡張することの一般的な場合は、彼らが意識的であるかもしれない、感覚を持つかもしれない、主体的であるかもしれない、あるいは何らかの意味で重要であるかもしれないということです。そして、もし彼らがそれらの特徴を持つ可能性があるなら、私たちは慎重さと謙虚さの精神で、少なくとも何らかの道徳的配慮を彼らに拡張すべきです。
つまり、基準は「彼らは確実に重要なのか？」であるべきではなく、「彼らはおそらく重要なのか？」でもあるべきではありません。それは「利用可能な情報を考慮して、彼らが重要である合理的で無視できない可能性があるか？」であるべきです。そして、それが道徳的包含の基準であることを明確にすると、AIシステムがその基準をすぐに通過しないことはあまり明白ではなくなります。
ルイザ・ロドリゲス：ええ、その基準について考える方法がやや混乱しています。あなたが「無視できない可能性」という用語を使っていると思いますが、気になります。無視できない可能性とは何でしょうか？どこが境界線でしょうか？何かが無視できなくなるのはどの時点でしょうか？
ジェフ・セボ：ええ、これは完全に合理的な質問です。これは哲学と決定理論である程度の専門用語です。そして、私たちは無視できないリスクと無視できるリスクの間の閾値がどこにあるかを非常に正確に、あるいは確実に言うことはできないかもしれませんが、出発点として言えることは、リスクはかなり低い可能性があり、害の確率はかなり低い可能性があり、それでもなお何らかの配慮に値するということです。
例えば、なぜ飲酒運転は間違っているのでしょうか？確実に誰かを殺すからではありません。おそらく誰かを殺すからでさえありません。100分の1か1000分の1の確率で誰かを殺すかもしれません。しかし、飲酒運転が100分の1か1000分の1の確率で不必要に誰かの意志に反して殺す可能性があるなら、それはUberやLyftを呼ぶか、その場にとどまって酔いが覚めるまで待つのに十分な理由になり得ます。少なくとも配慮に値し、いくつかの状況では決定的になることさえあります。
つまり、出発点として、私たちはいくつかの場合においてリスクが100分の1や1000分の1ほど低い可能性があり、それでもなお配慮に値するということを単純に認めることができます。
ルイザ・ロドリゲス：そうですね。日常生活で定期的に、非常に良いか非常に悪い可能性のある大きなことの小さなリスクを考慮することは、完全に明確で良いことのようです。そして、それが明らかに価値があり、賢明なことだと思います。個人的な経験では、時々私はそれをすべきほどやっていないかもしれませんが、反省してみると、確実にそれを支持します。
つまり、ここでの考えは、感覚の可能性があるが、ある程度の小さな可能性である多くの、多くの、多くの存在がいる可能性があることを考慮すると、その時点で彼らに道徳的配慮を与え始めたいと思うかもしれないということです。その時点でどのような道徳的配慮が保証されるか、正確に言っていただけませんか？
ジェフ・セボ：これは本当に良い質問で、実際には複数の質問に分かれます。
一つは道徳的重みについての質問です。私たちはすでに、異なる福祉能力を持つ存在に異なる道徳的重みを与えるべきだという感覚を持っています。もし象がアリよりもはるかに苦しむことができるなら、象はその程度においてアリよりも優先されるべきです。また、そもそも重要である可能性が高い存在により多くの道徳的重みを与えるべきでしょうか？象が重要である可能性が90％で、アリが重要である可能性が10％なら、その理由でも象により多くの重みを与えるべきでしょうか？
そして別の質問は、これらの存在が何を望み、そもそも何を必要としているかということです。もし彼らが感覚を持つか、その他の道徳的に重要であるなら、AIシステムを良く扱うことが実際に何を意味するかという質問に答えることは非常に困難でしょう。
つまり、AIシステムが感覚を持つ無視できない可能性がある場合、彼らに何らかの道徳的配慮を与えるべきだという考えに直接的な含意はありません。それが意味するすべては、彼らに影響を与える決定を下すとき、少なくとも何らかの重みを与えるべきだということであり、そして私たちはどれだけの重みで、そこから何が従うかについて意見が分かれるかもしれません。
昆虫の感覚に対する進化論的論証についてのメガン・バレット
メガン・バレット：重要なことに、多くの人がこの進化的観点から気づいていない別の事実は、昆虫は実際には甲殻類に最も密接に関連しているということです。彼らは一緒にパンクラスタセアと呼ばれるグループを形成し、そのグループは共通の祖先を共有しています。
つまり、これは人々が考慮すべき別のことだと思います。もしあなたが甲殻類の感覚を真剣に受け止める人で、感覚が進化した特性である（今日の生物にただ現れたのではない）なら、これは確実にこのエピソード全体を通して繰り返し触れることでしょうが、もしあなたが甲殻類に疑いの利益を与える、感覚について信じる人なら、進化的観点から、昆虫もいくつかの理由で疑いの利益を与える価値があると思うかもしれません。
そして、ここで考慮できる二つの可能な仮説があります。一つは、感覚が正確に一度進化したという考えです。つまり、その共通祖先から下降したすべての者は、おそらく何らかの理由でそれを失わない限り、その特徴を持っているということです。つまり、脊椎動物と任意の無脊椎動物、頭足類や十脚類の両方を受け入れるなら、単一の無脊椎動物について確信し、またこのことについて単一の起源点について確信しているなら、問題があります。なぜなら、それらすべての仲間の最も近い共通祖先は非常に遠いからです。
つまり、一つの共通祖先と喪失イベントがないと信じるなら、すべての昆虫、すべての線虫、すべての十脚類、すべての環形動物（これは別の種類の虫です）が含まれることになります。さて、喪失イベントがあると思うかもしれませんが、今度は多数の喪失イベントについて話すことになります。なぜなら、非常に多くの無脊椎動物がいるからです。
つまり、それらの喪失のそれぞれを正当化する必要があり、それは潜在的にできることです。
もう一つの可能な仮説は、感覚が異なるグループで複数回独立して進化したということです。これは私の見解ではより妥当だと言えるでしょう。部分的には、進化史において物事の複数の出現を常に見るからです。
視覚は素晴らしい例です。眼は動物の進化史の間に40回も進化した可能性があることを知っています。そして、眼の発達について考えるとき、それらが構造的に多くの点で異なるかもしれないにもかかわらず、何かを見るという同じ基本機能をすべて生成する方法を考慮することが重要です。
例えば、動物の眼における結晶レンズと呼ばれるものの複数の出現を見ました。いくつかは方解石を転用することによって作られ、他のものは熱ショックタンパク質を転用することによって作られ、さらに他のものは他の新しいタンパク質を転用することによって作られました。それらすべてがこれらの結晶レンズを作ります。あるいは、脊椎動物の眼とクモの眼における似た構造の独立だが収束的な進化を考えることができ、それは再び、何かを見るという同じ基本能力をもたらすことができます。
もちろん、その後、これらの異なる構造や似た構造を使って見ることの正確な機能がどのように異なり得るかについて話すことができます。鋭敏性が異なったり、動物が感知できる波長が異なったりするかもしれません。しかし、それでもなお、これらすべての動物にとって何らかの視覚という同じ基本能力がそこにあると思います。
これはすべて、意識のようなものを探している場合、それをより複雑にするということです。つまり、私たちが興味を持っている機能は視覚ではなく意識です。今、私たちは複数の起源点がある場合、その共通の基本機能を生み出すことができる潜在的に分岐した構造を探す必要があると言っています。そしてもちろん、その共通の基本機能は多くの分散と段階を持つことができます。そして私たちはまだ人間の意識についても良い把握を持っていないので、複数の独立した起源の可能性を認めることが、その後すべてを理解するのを非常に困難にするだろうということが見えます。
しかし、いずれにせよ、この進化的観点からこれを見るとき、誰が近い親戚なのかを考慮することが重要だと思います。そのグループの共通祖先は誰なのか？これらの特徴がいつ進化したと思うか、なぜそこで進化したと思うか？そして、もしあなたが甲殻類を真剣に受け止める人なら、彼らの近い関係が昆虫であることを考慮すると、六足動物についても真剣に考える必要があります。
エビであることがどのようなものかについてのアンドレス・ヒメネス・ソリージャ
ロブ・ウィブリン：エビの養殖業者は彼らのエビについてどのように感じているのでしょうか？彼らは自然に彼らの幸福を気にかけたり、苦しむことができる道徳的患者として見たりするのでしょうか？
アンドレス・ヒメネス・ソリージャ：それは私たちを驚かせたことです。インドで調査を行ったとき、小さなサンプルでしたが、彼らのエビが痛みとストレスを感じることができると思うかどうか尋ねました。そして95％の人がイエスと答えました。実際、そのうちの一人は非常に愛らしい答えをしており、彼は家族と過ごすよりも動物と過ごす時間の方が多く、友達が苦しんでいると、「私も苦しむ」と言っていました。それは非常に興味深いことです。
一方で、これらの人々が動物の行動を見て過ごす時間が相当にあるので、それは驚くことではないと思います。彼らは、決して生きているところを見たことがない消費者よりもはるかに偏りが少ないのです。私は、あなたやあなたの聴衆が、生きて泳いでいるエビの画像を見たことが非常に稀だとほぼ断言できます。ほとんどの人はカクテルでしか見たことがないでしょう。そして、これらの農家はずっと彼らを見ています。彼らが病気のとき、餌を食べているとき、泳ぎ回っているときを見るので、本当に彼らを気にかけています。
ロブ・ウィブリン：なるほど。つまり、彼らは常にエビにさらされ、エビを見ているということですね。彼らの行動は適度に複雑で、犬や豚が苦しんだり喜びを経験したりするのと同じように、彼らが苦しむことや喜びを経験することができると感じるのが非常に自然になるほど、興味深いことをし、十分に賢く、反応的で、状況に対応していると聞こえます。
アンドレス・ヒメネス・ソリージャ：その通りです。私はそれ以上にうまく表現できませんでした。農場では実際に彼らを見ることは非常に困難です。なぜなら、彼らが育てられる水は通常高い濁度を持つからです。非常に濁っています。しかし、実際に彼らを見ると、時々タンクや貿易会議などで、餌を与えられるとき、彼らは泳ぎ、餌を捕まえ、それぞれが平和に食べることができる小さな角に持って行きます。彼らが行動するのを見ることは非常に稀です。
エビの行動問題を理解するための良い研究が進行中です。それは進行中です。
ロブ・ウィブリン：なるほど。つまり、彼らの行動がどのように見えるかという点で、人が想像するよりも、カニやロブスターやタコにより似ているということですね。
アンドレス・ヒメネス・ソリージャ：その通りです。それは、ロンドン・スクール・オブ・エコノミクスの科学者たちが、昨年11月にイギリスの感覚法案について論文を書いたときに行った論証でした。彼らは頭足類軟体動物と十脚類の感覚の証拠の完全なレビューを行いました。これはまさにあなたが言及したものです。
彼らが発見したのは、広範囲に研究されたそれらの種については、彼らが感覚を持つという非常に良い証拠があるということです。彼らが言うのは、他のいくつかの種における証拠はそれほど強くないが、それは彼らが他の種ほど感覚目的で研究されていないからに過ぎないということです。例えば、あなたが言ったように、カニやタコなどです。
ロブ・ウィブリン：彼らはどのような基準を使っているのでしょうか？種が感覚を持つかどうかを理解するために種を研究するとき、評価に到達するためにどのような事柄を見ているのでしょうか？
アンドレス・ヒメネス・ソリージャ：それは良い点です。なぜなら、動物が感覚を持つということを教えてくれる決定的な証拠を持つことは非常に困難だからです。
つまり、この特定のケースでは、彼らが行ったのは8つの異なる感覚の指標を見ることでした。それらには、有害刺激を検出する適切な身体部位である侵害受容器を持っているかどうか、保護行動、適応行動があるかどうか、麻酔が特定の身体部位に適用された場合、彼らの反応が変わったかどうかが含まれており、それは反射ではないことを示すでしょう。そのようなことです。
その後、彼らは各個々の種について、証拠が非常に高い、高い、適度に低いなどかどうかをランク付けしました。その後、彼らはすべての頭足類と十脚類がイギリスの動物福祉法によって保護されるべきだという全体的な評価を出し、最終的にそうなりました。これはイギリス政府がロンドン・スクール・オブ・エコノミクスに委託した報告書でした。それは非常に独立した研究でした。
ロブ・ウィブリン：なるほど、つまり、エビは怪我に反応するということですね。彼らはおそらく経験する否定的な体験から学習します。麻酔に反応しましたか？人々が時々使うテストの一つだと思いますが。
アンドレス・ヒメネス・ソリージャ：異なる十脚類が麻酔薬に対して示す反応についての論文があります。あなたが言ったように。エビに関して特に、彼らが行うのは触角の一つをつまむことです。彼らがどのように行動するかを見ます：尻尾を弾く、水から飛び出すなどです。そして第二段階では、麻酔薬を適用して実験を繰り返し、行動が大幅に変化します。彼らが小さな触角をこする時間ははるかに、はるかに短くなります。彼らはおそらく正常に、より速く泳ぎ、そのようなことをします。
ロブ・ウィブリン：なるほど。彼らは怪我の手当てをしており、麻酔を与えられるとそれをあまりしなくなるということですね。余談ですが、おそらく人間用に開発した麻酔薬がエビにも効くということは私には驚くべきことです。彼らは生命の系統樹ではるか遠くにいるのに、感覚の基本的な機械の多くが十分に似ているということです。
アンドレス・ヒメネス・ソリージャ：その通りです。一部の人々が以前に行った議論の一つは、オピオイドが一部の動物で必ずしも同じように機能しないということでした。あなたが言ったように、すべての麻酔薬が必ずしも同じように機能する必要はありません。しかし、研究者たちは動物に適用される麻酔薬を見つけており、それは効果があり、行動を変化させます。
ロブ・ウィブリン：聴衆の一人が知りたがっていました：あなたはエビの苦痛の見通しによって内臓的に動機づけられていると感じますか、それとも、あなたの興味と動機は知的な側面により多くあるのでしょうか？
アンドレス・ヒメネス・ソリージャ：つい最近まで、私の反応は完全に知的な側面だったでしょう。それは私が農場を訪れるまででした。私たちのほとんどは生涯の間にエビ農場を訪れることはないと思いますし、世界のほとんどの人々はエビ農場を訪れたり、エビが水から取り出されるのを見たりすることはないでしょう。
しかし、私の共同創設者、インドの私たちのプログラムディレクター、そして私が「収穫」と呼ばれるものを見に行ったとき、これは動物が水からすくい上げられ、最終的に木箱などに入れられる瞬間ですが、その過程によって私もこの問題を内臓的に気にかけるようになりました。しかし、それは確実により知的な部分を通してやってきました。
新生児の痛みの注意すべき物語についてのジョナサン・バーチ
ルイザ・ロドリゲス：人間における感覚の別の境界事例に移りましょう：胎児です。あなたはこの本のセクションを「新生児の痛みの注意すべき物語」と呼ぶもので始めています。その事例について話していただけますか？
ジョナサン・バーチ：これも私が信じられないと思った別の事例です：1980年代において、大西洋の両側で新生児に麻酔なしで手術を行うことがまだ一般的だったようです。これは恐ろしい事例につながり、公衆の抗議につながり、臨床実践を変えるキャンペーンにつながりました。ジル・ローソンという人によって主導された公衆キャンペーンがあり、彼女の赤ちゃんがこの方法で手術され、亡くなりました。
同時に、私が言うならば、かなり勇敢な科学者たちによって、これらの疑問に関する証拠が収集されていました。彼らはこの研究を行うことで非常に激しく攻撃されましたが、臨床実践を変えるためには証拠が必要だということを知っていました。そして彼らは、このプロトコルが実行された場合、赤ちゃんに大規模なストレス反応があり、生存の可能性を減らし、長期的な発達損傷につながる大規模なストレス反応があることを示しました。つまり、証拠を探すとすぐに、証拠はこの実践が完全に弁護できないことを示し、その後臨床実践が変更されました。
つまり、ある意味で、人々はもはや新生児の人間の赤ちゃんを感覚候補として真剣に受け止めるべきだということについて説得する必要はありません。しかし、この物語は有用な注意の物語です。なぜなら、その過信がどれほど深く及ぶ可能性があり、どれほど問題になり得るかを示すからです。それはただ、感覚についての過信がどこにでもあり、危険だという点を下線で示しています。
ルイザ・ロドリゲス：ええ、本当にそうですね。確実に、もし私が異なる時代に生きていたなら、少なくともこの特定の誤りにはるかに影響を受けやすかったでしょう。しかし、今の私の立場からは、新生児が痛みを感じないと考えることは不可能で、したがって麻酔なしで大規模な侵襲的手術を行うことができるとは想像できません。
ジョナサン・バーチ：信じるのが困難なことですね。もちろん、時々考慮されたのは麻酔にはリスクがあるということでした。そしてもちろんそうです。しかし、麻酔なしで手術することにもリスクがあります。つまり、ここの外科医たちがリスクについてどのように考えていたかについて、本当の素朴さがありました。そして、科学哲学者が時々「無知の認識論」と呼ぶものです：彼らは麻酔のリスクを心配していました。それは彼らの仕事でそれを心配することですから、彼らはただ反対側のリスクを無視しました。それが本当に信じられないことです。
ルイザ・ロドリゲス：その後起こった臨床的更新：私の感覚では、今は手術中に新生児に麻酔を与えることが標準的な手順であり、利益がリスクを上回るということです。あなたはそれが避けられないことではなかったと論じています。その場合はどうでしょうか？
ジョナサン・バーチ：公衆の抗議も重要だったと思います。臨床規範を変えることは非常に困難です。もしそれが本当にアナンドとヒッキーという二人だけが医療体制に対抗していたなら、それは本当に変化が起こる方法ではありません。私たちは時々変化の理論について話しますが、「ただ証拠を得てそれを体制に持って行く」というのは良い変化の理論ではありません。
この場合、これらの恐ろしい話に基づいた強力な公衆キャンペーンが同時に進行していたという事実が、臨床実践が非常に迅速に変更された理由だと思います。
ルイザ・ロドリゲス：つまり、そこには教訓があります。言うべきことは何もありませんが、それは恐ろしいことであり、それが起こったことを知ることは重要です。なぜなら、私たちは再びそれを行っているかもしれないからです。
人工意識が可能である理由についてのデヴィッド・チャーマーズ
デヴィッド・チャーマーズ：一部の人々は、生物学が必要であるため、シリコンベースの計算システムが意識を持つことはできないと考えています。私はそのような見解を拒否する傾向があり、ここでは生物学について特別なものは何もありません。
それについて考える一つの方法は、段階的アップロードの事例を考えることです：シリコンチップによってニューロンを一つずつ置き換え、同じ役割を果たすようにします。このような事例は、最後のシステムが意識を持たないと言うなら、このプロセス中に意識が徐々に薄れるか、このプロセス中に突然消えるかのどちらかだと言わなければならないことを特に困難にすると思います。
少なくともそれらの路線のどちらかを維持することは困難だと思います。シリコンが生物学的ニューロンを効果の観点でさえ十分にシミュレートできないかもしれないという路線を取ることができます。おそらく生物学が持つ特別な動的特性があり、シリコンが決して持つことができないものがあるかもしれません。それは非常に驚くべきことだと思います。なぜなら、我々が今知っているすべての物理法則は計算的に見えるからです。ロジャー・ペンローズはそれが偽であるという考えを抱いています。
しかし、物理学が計算的であると仮定すれば、物理システムの作用を原理的にシミュレートできるなら、少なくともこれらの段階的アップロードプロセスの一つを作成できるはずであり、最後のシステムが意識を持つ可能性を否定する人は、このプロセス中にそれが本当に奇妙な方法で薄れるか、行動が同じままでいる間に半分の意識、4分の1の意識を経験するか、あるいはある時点で突然消えるかのどちらかを言わなければならないでしょう。魔法のニューロンを置き換えるとそれが消えます。
これらは私が数年前にシリコン複製装置が原理的に意識を持つことができる理由について与えた議論です。
アーデン・ケーラー：そのシナリオで意識の突然の消失が信じがたく思える理由は理解できると思います。「その魔法のニューロンについて何がそんなに特別なのか？」というようなものです。しかし、意識の段階的フェードアウトがそこで考慮すべき合理的な可能性ではない理由がすぐにはわかりません。
デヴィッド・チャーマーズ：段階的フェードアウトがどのように進行すると考えているのでしょうか？まず視覚意識を失い、次に聴覚意識を失うのでしょうか？それとも…？
アーデン・ケーラー：正確にどのように進行するかはわかりませんが、意識が程度において存在し得ると仮定すれば、なぜそれが程度において消失し得ないのでしょうか？
デヴィッド・チャーマーズ：ええ、私は意識状態に何らかの粗い測定値を置くだけだと考えています。あなたの意識状態に関与するビット数のようなものです。それが薄れることを想像する一つの方法は、何らかの方法で強度が下がり、その後突然強度がゼロになってすべてが消えることです。
私にとって、それは突然の消失のバージョンのように聞こえます。なぜなら、まだ100万ビットからゼロビットへと一度にすべて進むビットがあるからです。突然の消失が奇妙であるのと同じ方法で奇妙です。おそらくもっと連続的に見えるなら、何らかの方法であなたの意識のビット数が徐々に減少しなければなりません。100万ビットから10万、1万、その他に進むのです。
そして、これはどのように機能するでしょうか？おそらく私の視野が徐々に区別を失い、徐々により粗い粒度になり、その一部が消えるでしょう。おそらく一つの様式が消え、次に別の様式が消えるでしょう。
しかし、とにかく、あなたはこれらの奇妙な中間状態を持つことになります。そこでは、システムが意識があり、行動が同じであるため、これらすべてのことについて完全に意識があると言っているのに、「私は完全に詳細に視覚的に意識しており、聴覚的に意識している」と言うのに、実際には、彼らの意識状態は、非常に少ない、例えば意識のビットで、彼らが話している意識状態の非常に薄い反映になるでしょう。
その状況が私に特に奇妙に感じられるものです。この完全に意識的な状態にあると信じている、完全に合理的に見える意識的存在が、実際には非常に、非常に限られた意識状態にあるということです。もしあなたが幻想主義者なら、このようなことがあなたにいつも起こっていると思うかもしれません。
ロブ・ウィブリン：これは完全に間違っていると思います。ニューロン間の伝達で情報処理が進行しており、それが行動を生成しているという見解を持つことができるように思えます。しかし、その後、私たちが理解していない脳で起こっている他の秘密のソースがあり、シリコンチップでは複製しないでしょう。
各ニューロンと各シナプスを機械バージョンに置き換えて行くにつれて、情報処理は以前と同様に続き、行動は同じままです。しかし、意識を生成していた部分を失いました。それをコンピューター部品に設計していないので、ただ徐々に意識が消えるのです。
デヴィッド・チャーマーズ：これは少なくとも考えられることだと想像できますが、その後中間的なケースについて何を言うつもりでしょうか？存在が意識的であり、自分自身の意識について大きく間違っているケースがなければなりません。それは今赤と緑とオレンジの経験をしていないと言います。実際には均一な灰色の視野かそのようなものを持っているという事実です。
ロブ・ウィブリン：可能に思えますね。
アーデン・ケーラー：この段階的アップロードの例で、私たちが意識体験や、どれだけの意識体験を持っているかについて間違っている可能性があることも、デーブ、あなたが思うほど信じがたいとは思いません。
デヴィッド・チャーマーズ：それは公正で、確実に人々が自分自身の意識体験について非常に間違っている多くのケースがあります。確実に、失明否認などのあらゆる種類の病理があります。人々が盲目で、それらを持っていないように見えるのに、あらゆる種類の視覚体験を持っていると言う場合です。おそらくこのようなものかもしれません。これは奇妙です。なぜなら、機能的にシステムは何の病理も持っていないように見えるからです。
とにかく、これが考えられることは認めますし、それが起こり得ないことを証明することは確実にできません。存在が自分の意識について非常に、非常に間違っていることにオープンであればあるほど、このケースにもよりオープンになるかもしれません。
ここで私が言いたいことが一つあります。少なくとも：もしこれが実際に起こり、私たちがそれを経験し、その間ずっと私たちの行動が同じなら、その後私たちは頭が最初4分の1がシリコン、次に半分がシリコンである存在を持つことになります。彼らは「すべて大丈夫、すべて大丈夫、私の意識体験は以前とまったく同じだ」と言います。彼らは私たちにこれを言っており、私たちと話しています。彼らはもう少しシリコンで毎週更新し、私たちは彼らと話し続けます。
私たちは彼らが終始意識的であることをほぼ完全に確信するようになるでしょう。それを否定することは不可能になるでしょう。つまり、少なくとも社会学の問題として、この見解が明白に見える見解になる可能性が高いと思います。
デジタル人をどのように見るかについてのホールデン・カルノフスキー
ロブ・ウィブリン：これらのデジタル人について話しましょう。デジタル人とはどういう意味ですか？
ホールデン・カルノフスキー：つまり、デジタル人の基本的なアイデアは、人のデジタルシミュレーションのようなものです。それは本当に、これらのビデオゲームの一つ、The Simsのようなものや…私はフットボールゲームの例を使います。なぜなら、このフットボール選手、ジェリー・ライスの異なる写真を手に入れることができたからです。毎年新しいMaddenビデオゲームが出るからです。つまり、ジェリー・ライスは毎年少しずつリアルに見えるようになります。これらの人々のビデオゲームシミュレーションがあり、完璧なシミュレーションが得られるまでそれがどんどんリアルになることを想像するなら。
ホールデンというキャラクターを持ち、何が起こっても、ホールデンがするであろうことをすべて正確に行うビデオゲームを想像してください。それだけです。それがデジタル人です。つまり、それはかなり単純なアイデアです。ある意味では、私たちがすでに行っていることの非常に遠い外挿です。私たちはすでにこれらのキャラクターをシミュレートしているのです。
ロブ・ウィブリン：それを見る一つの方法だと思います。私が通常それが議論され、紹介される方法は、私たちは脳を持っており、それらは計算を行っているというアイデアで、最終的に脳が行っているのと同じ計算をすべて、移動する脳のシミュレーションで基本的に行う方法を理解できるのではないかということです。
ホールデン・カルノフスキー：ええ、その通りです。シミュレートされた環境でシミュレートされた脳を持つでしょう。絶対に、それを考える別の方法です。
ロブ・ウィブリン：これはかなり突飛な技術で、完全な人間、または少なくとも人間の最も重要な部分を、サーバー上で動作するように再現できるというアイデアです。なぜそれが可能だと思うのでしょうか？
ホールデン・カルノフスキー：以前に言ったことと似ていると思います。私たちには存在証明があります。私たちはこれらの脳を持っています。たくさんあり、私たちがやろうとしているのは、脳が行うように情報を処理できるコンピュータープログラムを構築することだけです。
それを行う本当に高価で愚かな方法は、脳をすべての詳細でシミュレートすること、脳で起こっているすべてをシミュレートすることでしょう。しかし、重要な抽象化レベルを捉える、よりスマートで簡単な方法があるかもしれません。つまり、脳のすべての単一分子が何をしているかは重要ではないかもしれません。おそらくそのものの多くはランダムで、脳で実際に起こっている興味深い、または重要な、または計算作業を行っているものは、おそらくニューロンの発火と他のいくつかのもので、それをシミュレートできるでしょう。
しかし基本的に、そこでプロセスが進行しています。それはかなり小さな物理空間で起こっています。私たちにはその例がたくさんあります。私たちは文字通り動物の脳を研究できます。私たちは研究します。つまり、神経科学者はそれらを分解して研究し、内部で何が起こっているかを見ようとします。つまり、私たちがこれを行うことに近いとは言いませんが、なぜ不可能なのかを考えようとするとき、なぜ人工物を構築することが不可能なのか、脳が行うように情報を処理するデジタル人工物やコンピューターを構築することが不可能なのかを考えようとすると、答えが出てきません。
しかし、これが可能であることを証明することはできません。しかし、ええ、基本的な議論は、それがここにある、それは私たちの周りにあるということです。なぜ私たちはいつかそれをシミュレートできないのでしょうか？
ロブ・ウィブリン：これらのデジタル人を、あなたや私のように意識的であると想定していますか、それともより自動人形の状況ですか？
ホールデン・カルノフスキー：出てきたことの一つは、私がデジタル人の世界というアイデアを説明するとき、多くの人が、たとえデジタル人が本物の人のように行動できたとしても、彼らは道徳的に同じように扱われるべきではないという直感を持つことです。彼らは感情を持たないでしょう。彼らは経験を持たないでしょう。彼らは意識的ではないでしょう。私たちは彼らを気にかけるべきではありません。
そして、それは私が同意しない直感です。それはシリーズの大きな焦点ではありませんが、私はそれについて書きます。基本的に、心の哲学を掘り下げて意識とは何かを考えるなら、これは私たち全員が非常に混乱していることです。誰もその答えを持っていません。しかし一般的に、意識が何であれ、それがニューロンでできていることに決定的に依存し、マイクロチップやその他でできていることに依存しないと考える大きな理由はないと思います。
これについて考える一つの方法は、私は意識的だと思います。なぜそう思うのでしょうか？私が意識的だと思うという事実は、実際に私が意識的であるという真実と結びついているのでしょうか？なぜなら、私が意識的だと思わせるものは、私の脳がニューロンでできているかどうかとは何の関係もないからです。もしあなたが私のデジタルコピーを作って、「ねえ、ホールデン、あなたは意識的ですか？」と言ったら、そのものは「はい、もちろんそうです」と言うでしょう。私がそれを行っているのとまったく同じ理由で：それはすべて同じ情報を処理し、すべて同じ証拠を考慮し、イエスと言うでしょう。
意識が何であれ、もし私たちがそれが私たちに意識的だと思わせる原因だと信じるなら、それは私たちの脳が実行しているソフトウェア、または実行しているアルゴリズム、または処理している情報に関することのように思えるという直感があります。それは脳が作られている材料に関することではありません。なぜなら、その材料を変更しても、異なる答えは得られないからです。異なる信念は得られません。
それが直感です。デヴィッド・チャーマーズから得た興味深い思考実験があり、あなたの脳を取り、まったく同じ方法で発火するデジタル信号送信機で一つのニューロンを置き換えるだけだと想像してください。何も変わっていることに気づかないでしょう。何も変わっていることに気づくことはできません。なぜなら、あなたの脳はすべて同じことを行い、すべて同じ結論に達するからです。すべて同じ思考を持つでしょう。さて、もう一つを置き換えても、何も気づかないでしょう。そして、すべてを置き換えても、何も気づかないでしょう。
とにかく、いくつかの議論があります。しかし、もし私たちが私たちのように行動しているデジタル人を持ち、デジタル脳が私たちの脳と同じことを行っているなら、私たちは彼らを気にかけるべきだと思います。そして、私たちは彼らを人々として考えるべきです。そして、私たちはおそらくそうするでしょう。たとえ彼らが意識的でなくても—
ロブ・ウィブリン：そのように行動するからです。
ホールデン・カルノフスキー：ええ、私たちは彼らと友達になるでしょう。
ロブ・ウィブリン：彼らは同じように文句を言うでしょう。
ホールデン・カルノフスキー：私たちは彼らと話し、関係を持つでしょう。私が会ったことのない人々がいて、彼らは私が会ったことのない他の人々と同じでしょう。しかし、彼らとビデオ通話や電話をすることができます。つまり、私たちはおそらく彼らに何が起こるかを気にかけるでしょうし、そうすべきです。そして、たとえ私たちがそうしなくても、いくつかの結論を変えるだけです。しかし基本的に、デジタル人も人々だと思います。
ロブ・ウィブリン：私に飛び込んでくる議論は、「人々であるために、意識的であるために、価値を持つために、それは肉で動作しなければならない。これらの電気的充電が行き来するこれらの細胞で動作しなければならない」と言っているなら、「進化はこれができる唯一の材料にたまたま出くわしたのでしょうか？進化はおそらくあなたが意識的であるからこの特定の設計を使うことを選ばなかったでしょう。つまり、なぜこれらの計算を行うことができるすべての異なる材料のうち、道徳的価値を生み出す一つの材料を私たちが持っているという偶然があるのでしょうか？」というようなものでしょう。
ホールデン・カルノフスキー：それは興味深い考え方です。もし私が悪魔の代弁者を演じるなら、「おそらくすべての材料には独自の種類の意識があり、私たちは自分たちの種類のような種類だけを気にかける」と言うでしょう。しかし、その場合、なぜ私たちは自分たちの種類だけを気にかけるのかという興味深い疑問になるでしょう。
感覚を考える際の私たちのバイアスと無知に取り組むことについてのジェフ・セボ
ルイザ・ロドリゲス：実際に、あなたの別の論文「忌まわしい結論」について話しましょう。ちなみに、そのタイトルは大好きです。
ジェフ・セボ：ありがとう！
ルイザ・ロドリゲス：その論文で、あなたは基本的にこう問います：人間のような大きな動物の方が平均的により多くの福祉を持つが、昆虫のような小さな動物が合計でより多くの福祉を持つと判断したとします。倫理と政治にとって何が従うでしょうか？
その論文は線虫のような小さな動物に焦点を当てていますが、同じ質問はAIシステムにも関連します。AIシステムは経済全体で使用されるために非常に多数になるかもしれませんが、痛みと快楽を経験する無視できない可能性も持っているかもしれません。
まず、あなたが実際に論文で焦点を当てているケース、小さな動物の場合から始めましょう。このケースについてどのように考えるべきでしょうか？
ジェフ・セボ：偽陽性と偽陰性の害を心配する場合のバランスの取り方についての最後の交換の終わりから始めることができると思います。
注目できることの一つは、昆虫やAIシステム、その他の種類の存在を私の道徳的サークルに含めたとしても、彼らに道徳的配慮を与えたとしても、それでも異なる理由で私のような存在を優先することができるかもしれないということです。
そのうちの一つは、昆虫やAIシステムよりも高い福祉能力を持っているかもしれないということです。私はより複雑な脳とより長い寿命を昆虫よりも持っているので、任意の時点で、また時間をかけて、より多くの幸福と苦痛を経験することができます。
そして、一般的に人間は、私が利用できる証拠を考慮すると、昆虫やAIシステム、そのような他の存在よりも感覚的で道徳的に重要である可能性が高いと思うかもしれません。つまり、家が燃えていて、人間かアリのどちらかを救えるが、両方は救えない場合、人間の方が重要である可能性が高く、人間がより重要である可能性が高いので、正当に人間を救うことができると自分に言うかもしれません。そして、それらは同点を破る完全に有効な方法です。
それは、これらの非常に異なる、非常に多数の存在を道徳的サークルに含める可能性を考慮するとき、ある程度の安心感を与えてくれるかもしれません。しかし、その後、これらの個体群が実際にどれほど大きいかを考慮しなければならず、ここでこの論文が扱う問題、個体群倫理の問題に到達します。
ルイザ・ロドリゲス：そうですね。個体群倫理は、私たちの行動が将来どれだけの人が生まれるか、具体的に誰が生まれるかに影響する際に生じる倫理的問題の哲学的研究です。
しかし、ええ、私の理解では、これらの小さな動物—アリや線虫、おそらく微生物さえも—がどれだけいるかは実際にはわからないが、人間と比較して彼らが持つ苦痛と快楽の種類が非常に重要性が低く、それらを持っている可能性にほんの少しの確率しか置かなくても、非常に多くいるので、彼らの利益がまだ人間のものを圧倒するということが少なくとも妥当だということです。そして、この議論は私には妥当に聞こえますし、恐怖と恐れで私を満たします。あなたの経験はどうですか？
ジェフ・セボ：まあ、私は確実にほとんどの人間と同じ経験をしていると思います。そして、この論文に「忌まわしい結論」というタイトルを付けた理由は、これが哲学者のデレク・パーフィットによる「理由と人格」という有名な本に基づいているからです。その本の第4部は個体群倫理を扱っています。その本のその部分で、デレク・パーフィットは彼が「嫌悪すべき結論」と呼ぶものについて議論しています。それが何であるか、そしてなぜそれが過去数十年間多くの人々を恐怖で満たしてきたかを簡潔に言うことができます。
嫌悪すべき結論は以下の観察から生じます。もしあなたが100人を含む世界をもたらし、全員が100,000単位の幸福を経験する未来と、人数が2倍の200人だが、全員が1単位少ない幸福—99,999を経験する別の世界をもたらすことができるなら、どちらの世界が良いでしょうか？まあ、私たちの多くは、2番目の世界が良いという直感を持っています。その2番目の個体群をもたらすべきです。全員が一人当たり1単位の幸福を少なく経験するかもしれませんが、2倍の人数がいるので、全体的にほぼ2倍の幸福があり、全員がまだ本当に幸せです。そして、すべてを考慮すると、その個体群をもたらすべきです。
しかし、その後、再び2倍の大きさで、再び一人当たりの幸福が少し少ない別の個体群を想像できます。次に、2倍大きく、一人当たりの幸福が少し少ない別のもの。そして延々と続きます—膨大な数の個体を含む世界、太陽系、銀河系に到達するまで、それぞれの人生がかろうじて生きる価値があるだけです。そして、あなたの推論は、それが可能な最良の世界、最ももたらしたいと思うべき世界だという考えに あなたをコミットするでしょう。
パーフィットは、全員の人生が非常に生きる価値があるかなりの人口を持つ世界よりも、全員の人生がかろうじて生きる価値があるだけのはるかに大きな人口を持つその世界を好むという考えを嫌悪すべきだと思いました。そして、彼はキャリアの残りの大部分を、その結果を避けることができる人口の価値を見る、より良い方法を見つけようと試み、失敗することに費やしました。
ルイザ・ロドリゲス：昆虫の場合、人間がジャガイモを食べて単調な生活をあまり楽しんでいない場合とは異なり、奇妙なことがあると思います。私たちは、クモになって巣を作ることはかなり退屈に聞こえると思うかもしれませんが、実際にはわからないのです。多くの点で、彼らは私たちとは非常に異なるので、この嫌悪すべき結論シナリオの人間よりも、彼らがそれを楽しんでいないか楽しんでいるかについて、はるかに低い確率を持つべきです。これをどのように考慮しますか？
ジェフ・セボ：非常に大きな昆虫の個体群が、はるかに小さな人間や象の個体群よりも全体的に良い状態にあるとは思わないという直感を共有します。しかし、あなたが言及した理由やその他の理由で、その直感にはやや懐疑的です。
ここには多くのバイアスと多くの無知があります。種差別主義があります。私たちは自分たちに似ている存在を自然に好み、関係を持ちます—大きな目と大きな頭を持ち、鱗のある皮膚ではなく毛皮の皮膚を持ち、6本や8本の肢ではなく4本の肢を持ち、はるかに小さいではなく私たちとほぼ同じサイズで、数千以上ではなく1、2、3、4匹の子供を持つことで繁殖するとき。つまり、私たちはすでにそれらの方法で多くのバイアスを持っています。
また、範囲の鈍感性もあります—非常に大きな数が作ることができる違いに敏感でない傾向があります—そして多くの自己利益があります。もし昆虫のような小さな動物の道徳的重要性を受け入れ、より大きな個体群が全体的により小さな個体群よりも良い状態にあり得ることを受け入れるなら、これらの人間以外の個体群が多くの重みを持ち、比較して私たちがより少ない重みを持つ未来に直面するかもしれないということを認識しています。
そして、私たちの一部はその考えを考えられないほど見つけ、それを考えることを避ける方法を探し、その含意を持たない理論的枠組みを探します。そして、それらの理論的枠組みを真剣に受け止め、その含意を避けることを考慮すべきかもしれませんが、少なくともその方向への一種の膝反射的な衝動については懐疑的でありたいと思います。
ルイザ・ロドリゲス：ええ、それは非常に説得力があると感じています。あなたがそれを言っているときでさえ、私は自分が経験していることを単なる一束のバイアスとして記述することから逃れる方法を考えようとしています—そして、それ自体がバイアスの行動です。それは私が、いや、私は本当に、本当に、私のような人々、そして私が、…わかりません。私たちが優先されないということではありません—私たちは明らかに自分自身を優先と考えるいくらかの理由を持っています—しかし、私はそれが議論終了のようであってほしいのです。私は私たちにトップの座を与える決定的な理由がほしいのです。そして、その本能は非常に強いので、それ自体が私自身の動機について少し気持ち悪くさせています。
ジェフ・セボ：ええ、そのすべてに同意します。私たちが自分自身を優先するいくらかの理由を持っていると思います。そしてそれには私たちの福祉能力と私たち自身についての知識が含まれます。それはまた、より関係的で実用的な考慮事項も含みます。つまり、少なくとも近い将来において、いくつかの文脈でいくらかの程度まで自分自身を優先するかなり決定的な理由を持つと思います。
しかし、ええ、同意します。人類が他のすべての人間以外の個体群よりも常に必ずしも優先されるべき理由についての決定的な決定的理由はないと思います—そしてそれには昆虫のような非常に小さな人間以外の非常に大きな個体群、または非常に大きな人間以外の非常に小さな個体群が含まれます。私たちよりもはるかに複雑な脳とはるかに長い寿命を持ついくつかの種類の超存在を想像することができます。つまり、私たちは両方向から私たちの道徳的重要性と道徳的優先性に疑問を持たれることを見つけることができます。
そして、これらの質問を多くの思慮と注意を持って尋ね、それらを尋ねるのに時間をかけることが重要だと思います。しかし、私は、適度に大きな適度に大きな存在の個体群、人間のような存在の個体群が偶然魔法のレシピであることが奇跡的であり、私たちがどちらの方向のすべての個体群よりも重要であることが偶然であることを見つけることから始めます。それは私には信じがたいことです。
鶏の道徳的重みについて考える方法についてのボブ・フィッシャー
ルイザ・ロドリゲス：理解を確実にするために、それが言っていることは、鶏の与えられた瞬間における福祉や苦痛の能力が、人間が与えられた瞬間に経験できる痛みと快楽の種類の能力の約3分の1だということですか？
ボブ・フィッシャー：それが考える方法です。そして、それは非常に直感に反するように聞こえるかもしれませんし、それは理解できます。これらの結果について考える正しい心構えになるために言えることがいくつかあると思います。
一つは、まず生物学者のように考えることです。人間の痛みが鶏の痛みよりも何桁も悪いと思うなら、それがなぜそうなのかを説明する人間の脳のいくつかの特徴を指摘しなければなりません。そして、多くの人々にとって、彼らは一種の単純な絵を持っています—より多くのニューロンがより多くの計算に等しく、性能の何桁もの違いに等しい、またはそのようなものだと言います。
そして、生物学者はそのようには考えないでしょう。彼らは、見てください、ニューロンは特定の機能を生み出し、ニューロンの数は必ずしもその機能にとってそれほど重要ではない：はるかに多いまたははるかに少ないニューロンを使用して同じ機能を達成する可能性があると言うでしょう。つまり、それは本当に興味深い、関連性のあることではないのです。
つまり、それが最初のステップです：機能的能力に焦点を当てた生物学者のようにもっと考えようとすることです。
2番目に言うことは、快楽主義が何を言うかを覚えておく必要があるということです。ここで起こっていることは、福祉がただこの一つの狭いことについてだと仮定していることです：快楽と痛みの強度。あなたはそれが真実だと思わないかもしれません。福祉は私が世界について重要な事実を知っているかどうか、または他の何かについてだと思うかもしれません。しかし、それは私が評価していることではありません。私はただ、痛みがどれほど強烈かという質問を見ているだけです。
また、あなたは非常に正しく、「しかし、見てください、私の認知的生活はより豊かです。私はより多様な範囲の否定的に価値のある状態を持っています」と指摘するかもしれません。そして、私は範囲を気にしない、強度を気にすると言うつもりです。それが快楽主義が言うことです：重要なのは痛みがどれほど強烈かということです。
つまり、ええ、「私は非常に失望しています。なぜなら…」—あなたの好みの不幸な出来事を選んでください—「私のお気に入りのチームが負けた」、その他の場合でも。そして、快楽主義の観点から、それについて重要なのは、それが私をどれほど悲しくしたかだけです。経験の内容ではなく、私が経験している否定的に価値のある状態の量、または私が経験している否定的に価値のある状態の強度です。つまり、人々はしばしば価値のある状態の範囲の多様性と強度を暗黙的に混同すると思います。
ルイザ・ロドリゲス：ええ、それは確実に私がすることです。確実に、ここで重要だと思うことは、私が特に意味のある大きな方法で恋に落ちることができる部分があります。50年続く友情を持つことができ、本当に深く意味のある会話を含みます。そして、鶏が他の鶏との意味のある関係を持っていても、それらは私が人生の人々と持っている関係ほど複雑で多様ではありません。
一方で、私の大きな部分は、本当に考えてみると、重要なのは強度だけだということに多くの重みを置いています。鶏が翼を折られることについて、私が友人を失うことについて感じるよりも悲しく感じるなら、そうであってください。私たちは、友人を失うかもしれない脅威が防がれることを確実にする前に、彼らの翼が折られないことを確実にすべきです。
そして、多くのリスナーが福祉とは何かについて、それぞれ自分なりの内的な混乱を持っているだろうと思います。しかし、今のところ、重要なのは強度だということを仮定するなら、あなたの発見は、3羽の鶏の1時間の苦痛を避けることが、1人の人の1時間の苦痛を避けることと同様に重要だということのようなものです。そして、それは私には不快に感じられます。その不快感について話していただけませんか？
ボブ・フィッシャー：確かに。最初に言うことは：あなたは一人ではありません。私も完全には快適に感じていません。そして、道徳的重みについて考えようとするとき、私たちの最も真剣な道徳的コミットメントが何であるかを自分自身に尋ねなければなりません。本当に不快で挑戦的な質問を避けることはできません—ただ消えることはありません。
しかし、いくつか言うことがあります。一つは：あなたが不快に感じない数字はありますか？なぜなら、変換を行うというアイデアにコミットしているなら、最終的には、ある数の鶏の苦痛の時間が人間を助けることよりも重要だと言わなければならないことになるからです。
そして、実際に多くの人々にとって、彼らは本当に変換があるとは思っていません。300と言ったなら、本当にそれほど良く感じたでしょうか？少し良く感じたかもしれません。まったく感じなかったとは言いません。確かに、それは違いですが、本当に考えてみると、「300時間？誰かを…鶏のためにそれに耐えさせるでしょうか？」と言うかもしれません。そして、あなたは同じレベルの不快感、またはそれに近いものを持つかもしれません。
つまり、ある程度、私たちが話しているトレードオフは、私たちの特定の福祉範囲推定とは何の関係もない背景理論的コミットメントから来ることを覚えておく必要があります：それは私たちが最も良いことをしようとしているという事実から来ます。私たちはそれが種を超えた比較を行うことを意味し、ええ、トレードオフ率があり、それを見つけなければならないと言うこの種の最大化倫理にコミットしていると考えます。
つまり、それが不快感について最初に言うことです。他のことを言う前に、それについてどう思いますか？
ルイザ・ロドリゲス：はい、それの一部は確実に私にとって効果的でした。最も効果的なのは、線路にいる鶏について考え、トロッコが来ていて、反対側に人間がいる場合、会話をしたことがある人、私が知っているかもしれない家族を持つ人、ハグをすることができる人、仕事を持つ人を犠牲にすることに快適になることは私にとって想像することがほとんど不可能だということです…これらはすべて、このトロッコに誰が轢かれるかを決めるレバーを引くかどうかを決めるときに私の頭を駆け巡ることです。つまり、これらの数字が正確に何であるかに関係なく、それは私が取り組まなければならないことであるということは公正です。
ボブ・フィッシャー：そして、それに追加すると、本当に気にかけている誰かを線路に置くときのことを考えてください。私は自分の子供たちについて考え、見てください、私自身の子供たちと彼らの間で選択する場合、殺すことを選ぶ他の人間の数はほとんどないかもしれません。しかし、それは客観的な意味で彼らが実際に重要性が低いと思うからではありません。公平な善を行おうとするとき、私は決して「ああ、はい、私の子供たちは効用モンスターです：彼らは無限の価値を持ち、他の皆はその小さな部分を持っているだけです」とは言わないでしょう。
つまり、私たちの道徳的判断が価値の判断からそれほど切り離されていることを認識するとき、それはまた、これらの福祉範囲がそれほどクレイジーではないかもしれない理由を考えるのに役立ちます。
ルイザ・ロドリゲス：ええ。不快感に対してあなたを助ける他のことはありましたか？
ボブ・フィッシャー：私をある程度助けると思うことは、見てください、私たちは道徳的不確実性の下で最善を尽くしているということです。以前に動物を特に真剣に受け止めたことがなければ、この種の研究に基づいて動物の方向に更新すべきだと思います。しかし、倫理は困難です。尋ねるべき大きな質問がたくさんあります。快楽主義が真実かどうかはわかりません。つまり、それに対する良い議論があります。プロジェクトに入るすべての仮定に対する良い議論があります。しかし、ええ、すべてのステップで不確実で、全体のベンチャーについてのある種のより高いレベルの注意が適切です。
そして、人々が実際にドルを配分する方法を見ると、彼らはしばしばまさにこの方法で賭けを分散させます。動物に本当に夢中になっていても、AMFにいくらかのお金をまだ与えています。そして、それは理にかなっています。なぜなら、私たちは世界で何らかの善を行うことになることを確実にしたいからであり、それはそれを行う方法だからです。
ルイザ・ロドリゲス：あなたが学んだことで、これをより妥当に感じさせる物語やストーリーがあるかどうか気になります。鶏について、または哲学について特に何かありますか？あなたはすでにいくつかのことを言いましたが、「はい、私は実際にリソースの配分を決定するときにこれらの道徳的重みを使いたい」と快適に感じるためにあなたの頭の中にあるストーリーは何ですか？
ボブ・フィッシャー：それについて言いたいことが二つあります。一つは、私は自分の深いバイアスを本当に心配しており、私がEAプロジェクトの一部になろうとする理由の一部は、それが最良の状態で、「ええ、私の直感は間違っています。それを信頼すべきではありません。数学をもっと真剣に受け止めるべきです。物事に数字を付けて計算しようとすべきです。そして、結果に不快感を感じるとき、私は通常問題であり、使用したプロセスではありません」と言う試みだと思うからです。つまり、それが一つのことです。動物に人生のほとんどを費やしている人としてさえ、動物を軽視する私自身の傾向に対するチェックです。
もう一つのことは、動物ができることの種類と彼らの生活がどのようなものかについて考える時間を過ごすことです。鶏が卵を産む前に巣箱に着くためにどれほど一生懸命働くか、それをするために喜んで行う労働の量、それが彼女にとってどれほど重要かを考えることです。
そして、私たちはそれを定量化し、彼らがどれほど気にかけるかを見ることができる、または仲間の鶏が脅かされるときにストレスを感じ、同種に対してある程度の共感を持っているように見えることを見ることができると気づくことです。
それらの種類のことは、私に、欲望と好みと世界に対する見解を持ち、物事が特定の方向に進むことを望み、そうでないときに挫折し、動揺する別の個体として、私に認識できる何かがそこにあると言わせます。
そして、人間以外の動物の個性、視点を認識することは、私にとって、すべてを考慮すると、私が思うべきほど真剣に彼らを受け止めない傾向に本当に挑戦します。
野生動物の苦痛の範囲についてのキャメロン・マイヤー・ショーブ
ルイザ・ロドリゲス：根本的に、なぜ野生動物の苦痛を心配するのですか？特に、彼らが多く苦しんでいるかもしれないと思わせるのはどのような種類のことですか？
キャメロン・マイヤー・ショーブ：野生動物の生活の性質がどのようなものかについて、私は途方もなく不確実です。しかし、私がこの分野に入ったのは、ここでの可能性について考えを変えたからです。以前は、野の動物は完全にバランスが取れており、完全に満たされた生活を送っており、私のような現代のストレスに悩まされることもないと仮定していました。そして、人間が彼らのためにできる最善のことは、ただそこで彼らを放っておくことだと。
しかし、それについて学び、考えれば考えるほど、野生動物は素晴らしい生活を送っていない可能性がある理由が実際にたくさんあることに気づきました。少なくとも多くの動物がそうです。例えば、彼らはしばしば十分な食料を得るために苦労しなければなりません。極端な天候から身を守るために苦労することがよくあります。洪水や山火事が来れば、それは彼らにとってただ終わりです、という種類のものもあります。あらゆる種類の病気や寄生虫もあります。彼らには医療がありません。また、他の種からであれ、自分たちの種のメンバーからであれ、暴力から彼らを守る国家もありません。
つまり、ここで話している種類の条件は、人間がそのような条件で生活するとき、私たちはそれを貧困と呼ぶでしょう。そして、私たちはそれを容認しないでしょう。私たちは、それらは解決する必要がある問題であり、より良い生活に値する人々だと言うでしょう。そして、薬があるなら、薬へのアクセスを与える手助けをすべきです。食料へのより安定したアクセスを与える方法があるなら、それは彼らの生活を改善するものです。
それが、野生動物について考えるときに今考慮すべきだと思うアプローチの種類です：彼らが自然の生息地でさえも苦労している可能性があり、自然に発生する害からさえも苦しんでいる可能性があるという考えを真剣に受け止めることです。そして、それがどの程度真実であるかを理解し、それについて何かできるかどうかを理解しようとすべきです。
ルイザ・ロドリゲス：ええ、それらのいくつかに戻りたいと思います。なぜなら、この問題にいくらか馴染みがあっても、野生動物が経験している可能性のある種類のこと（そして明らかに異なる種にわたって非常に幅広い範囲があります）について、食べられることのような本当に明白なもの以外に、私はまだ非常に限られた想像力しか持っていないからです。
それはそれとして置いておいて、問題の規模は何でしょうか？今生きている個体のうち、野生動物はどれくらいいるのでしょうか？
キャメロン・マイヤー・ショーブ：規模は巨大です。私が数えることができるより大きいです。これについて学ぶことで謙虚にさせられましたが、規模は問題を理解する上で非常に重要な部分だと思います。
最も広いストロークで、私たちが知っている大まかな数字に基づくと、今日地球上で生きているすべての感覚のある心の約99％が野生動物であるように見えます。つまり、もしあなたが人間や農場動物なら、それはルールに対する信じられないほど稀な例外です。ルールは：感じることができるものは野に住んでいるということです。あなたは何よりも四捨五入誤差です。
これは人間と農場動物の経験が重要ではないということではありません。ただ、もっと多くのことが起こっているということです。そして、倫理の真に公平な見方は、倫理は主に野生動物に関するものであり、霊長類と農場動物に関連するこれらの興味深いサブフィールドもあると信じさせるでしょう。
ルイザ・ロドリゲス：なるほど、数字をもう少し分解することに興味があります。私たちが主にシマウマについて考えているのか、それとも主に魚、アリ…について考えているのかは、少なくともある程度重要に思えます。何について考えるかは、私が何について話しているのかを理解するのに役立つ効果があるかもしれません。
キャメロン・マイヤー・ショーブ：それは尋ねるべき素晴らしい質問です。なぜなら、通常心に浮かぶイメージは野生動物の最も代表的なものではないと思うからです。ほとんどの心は野生で、奇妙で、湿っています。人間や人間のようなものではないのです。
規模感を得るために、視覚化を提案しましょう。この演習のために、生きている個体に対して同じサイズの点を置くとします。人間に1つの点、リスに1つの点—そして後で種を超えたトレードオフをどのように行いたいかを議論できます—しかし、まず始めに、生の数字の感覚を得るために。
さて、これらの点を、82億人の人間すべてを25セントや1ユーロの表面に収まるほど小さくしましょう—つまり、1平方インチより少し小さなものです。
そのスケールを維持するなら、880億の野生哺乳類はクレジットカードやポストイットノートほどの面積を占めるでしょう。
そして鳥に移ると—そして、これらの推定はすべて非常に大まかで、個体群が大きくなるほどエラーバーが広くなると言うべきです—しかし鳥については、野生に約2000億羽いるとしましょう。それは標準的な封筒ほどの大きさでしょう。
そして爬虫類と両生類については、それぞれの数がおよそ1兆個体、合わせて2兆です。つまり、1兆は標準的な紙1枚でしょう。
ここで立ち止まって、どこまで来たかを考えるのは良い場所だと思います：25セントから封筒、それは25セントよりもはるかに大きく、数枚の紙まで—すべての人間の経験と82億の命を含む25セントと比較して。哺乳類、鳥類、爬虫類、両生類を含めようとするなら、それはそれの何倍も、何倍もあります。
そして魚に移ると、数字はさらに途方もなくなります。世界には約10兆匹の魚がいます。つまり、10兆匹の魚は中サイズの机のようなもの—よろしければIkeaのLinnmonや、大きなバスマット、またはおそらく枕カバー2つ分くらいでしょう。それが、人間の人口が25セントに収まることに比べて、魚の全人口がどのように見えるかです。
そして数字は本当に…「boggle」が文字通り何を意味するかわかりませんが、私の心に起こっていることのようなものだと思います。おそらく感覚のある無脊椎動物の数を想像しようとすることは心を混乱させると思います。
ここで私が見つけたほぼ有用な唯一の数字は、陸生節足動物の数の推定です—それは昆虫、クモ、甲殻類のような硬い外骨格を持つ動物でしょう。陸上に住むものについて、推定では彼らの人口は10万兆のどこかです。82億人の人間が25セントの表面に収まるなら、10万兆は街区やFIFA規定サイズのサッカー場ほどの大きさである必要があります。
ルイザ・ロドリゲス：それは狂っています！
キャメロン・マイヤー・ショーブ：サッカー場のどこに立っても、25セントを見て、それからフィールドの残りを見回すことを想像してください。それは本当に地球上の生命がどのようなものか、誰が実際にここに住んでいるかについての視点を変えます。そして、多くの節足動物が感覚を持つかどうかはわからないことは困難です。どちらの側にも十分な質問と考慮事項があると思います。しかし、私が重要だと思うことの一つは期待値です。つまり、彼らがそうである可能性がわずか10％でも、サッカー場の10％は25セントよりもはるかに大きいのです。
ルイザ・ロドリゲス：ええ。これは私たちの最近のエピソードのいくつかを本当に嬉しく思わせます…一つは無脊椎動物の感覚に関するメガン・バレットとのもので、私の史上最高のエピソードの一つです。そして本当に、無脊椎動物が感覚を持つ確率を10％をはるかに上回るところまで私を導きました。もう一つはセバスチャン・モロとの魚に関するもので、魚についての無限の驚くべき事実があります。
私にとって、無脊椎動物と魚の両方が、あなたがおっしゃったように、膨大な数の個体を構成し、少なくとも非常にもっともらしい感覚候補であることは明らかです。魚の場合、私にとって議論することはほとんど困難に思えます。つまり、これらが私たちが話している野生の自然の大部分を構成する動物であることを考えると、興味のある方には、これらのエピソードをお勧めできます。
魚が意識的または感覚的かどうかについてのセバスチャン・モロ
ルイザ・ロドリゲス：これは「魚は信じられないほどクール」という観点から純粋に魅力的で心を打つものです。しかし、これらは魚がこれらのことを何らかの意識的な方法や感情的な方法で経験していることについて何かを教えてくれるように感じますか？
セバスチャン・モロ：先ほど言ったように、意識と感覚を分ける必要があり、これらは同じものではありません。高次の意識、人間のような本当の意識について話すことは非常に困難です：人間においてさえ、それを正しく評価する方法がわからず、適切な評価ツールがありません。
つまり、今日私たちは意識と感覚を評価し、それらを適切に分ける新しい方法を構築しようとしています。あなたがジョナサン・バーチについてインタビューしたことを理解しています。彼はその分野のパイオニアです。彼は非常に重要な人物です。
魚について特に興味深い本、研究があります。「バスであることはどのようなものか？レッドヘリング、魚の痛み、動物の感覚の研究」という名前です。2022年の出版物です。それは本当に興味深いです。なぜなら、私たちが話した有名な研究、私たちが話したミラーテストの修正に戻っているからです。私たちが話した研究の多くは、感覚を評価するために作られたものではありません。
ルイザ・ロドリゲス：あなたの観点から、これまで研究された魚についてそこにある知識の多くを知っているので、この豊富な知識すべてがあります：魚が物事を経験していることについて本当に高い確信を持たせる最も説得力のあるものは何ですか？
セバスチャン・モロ：私たちが持っている論文のほとんどはこの方向に向かっており、反対方向に向かうものは非常に少ない—非常に、非常に少ないです。
つまり、私をそれほど確信させるものは何でしょうか？私は本当にここで私の個人的な意見について話しています。感情について考える傾向があります…感情とは何でしょうか？感情は何のために使われるのでしょうか？それらは私たちの周りにあるものに光沢を付けています：「このものは正の光沢を持っている。これをもっと必要としている。このものは負の光沢を持っている。」そして、感情は学習と非常に、非常に密接に関連していることを知っています。つまり、感情は引き付けたり反発させたりするものです。そして、それは進化において非常に、非常に早期に現れたに違いないことはかなり明白に思えます。なぜなら、これが私たちの働き方だからです。
これは、おそらくアルゴリズムとの最大の違いの一つです。アルゴリズムは閉ループに従っています。そして、動物がより感情によって、物事の価値によって駆動されるときにこれが出てきます。これは、「これは良い、これは悪い。これをもっと欲しい、これを少なく欲しい」と言う一種の大脳辺縁系によって作られます。そして、他の動物がそれを持つことができなかった理由がわかりません。
そして別のことは、私は蜂についてたくさん読んでいるので、現在の蜂に関する知識の集合体をよく知っています。そして、蜂でも同じ結果が出始めています。つまり、蜂が感覚を持つ可能性について100％確信はしていませんが、今日の蜂研究の最大のリーダーであるラース・チットカは、Twitterで蜂は彼にとって感覚的だと言いました。そして、私たちが得ている結果はその方向に向かっています。つまり、彼らは100万ニューロンの脳を持っており、魚の脳ははるかに、はるかに大きいです。そして、昆虫から分岐したとき、脳も存在していませんでした。つまり、それはただの収束進化です。
魚は複雑な生活をしています。彼らは社会的生活、非常に社会的生活をしています。私はすでにクリーナーラスでこれを紹介しました：彼らの生活は非常に複雑です。彼らは克服しなければならない挑戦を持っており、それは哺乳類や鳥類で見つけるもの、時にはそれ以上に複雑です。
つまり、鳥類や哺乳類で感覚を認識するのに、彼らには感覚がないということです。現時点では、誰に対してもそれを拒否するか、誰に対してもそれを受け入れるかのどちらかです。
誰に対してもではありません。なぜなら、脳や中枢神経系を持つ動物について、今日私たちは少なくとも何らかの全体的なネットワークがあるべきだと考えているからです。すべてがあなたとこの種のものの統一されたビジョンを作るために共通に置かれるべきです。
しかし、意識にはおそらく多くの度合いがあります。感覚にはかなり多くの度合いがあります—しかし、はしごの度合いではなく、円の度合いです。しかし、それは実際には奇妙に聞こえるでしょう、彼らが感覚的ではないというのは。
ルイザ・ロドリゲス：ええ、それはあなたにとって本当に驚くべきことでしょう。
人工意識についていつ心配し始めるべきかについてのデヴィッド・チャーマーズ
アーデン・ケーラー：つまり、あなたは他の場所で、より完全に自律的な人工知能が現れるなら、それが意識的であることを心配し始めなければならないかもしれない、したがっておそらく道徳的配慮に値すると言いました。しかし、それ以前にそれをあまり心配する必要はないと思います。
その理由について少し話していただけませんか？また、プログラムやコンピューターが徐々により意識的になる可能性があり、そのプロセスが完全に自律的になる前に始まる可能性があるかどうか、どう思いますか？
デヴィッド・チャーマーズ：ええ、それは興味深い点です。人レベルの汎用人工知能を得るかなり前に意識的AIに到達することを期待するでしょう。単純に、知能のレベルが人レベルの汎用人工知能にはるかに及ばない多くの意識的生物がいると信じる非常に良い理由があるからです。
つまり、例えば魚が意識的なら、AIが魚に存在する洗練さと情報処理と、関連要因が何であれ、それらの程度に達するなら、それで十分だと思うかもしれません。そして、既存のAIシステムが実際に意識的である可能性があるかどうかという質問を開きます。コンセンサスビューは彼らがそうではないということだと思います。しかし、意識の記述についてよりリベラルであればあるほど、彼らがそうである可能性をより真剣に受け止めるべきです。
「強化学習者の倫理的扱いのための人々」と呼ばれるウェブサイトがあり、私は非常に気に入っています。アイデアは、強化学習ネットワークに報酬信号を与えるたびに、それは信号の価値に応じて快楽を経験したり、対応して苦痛を経験したりしている可能性があるということです。
汎心論を真剣に受け止めることにコミットしている人として、私は少なくともその可能性を真剣に受け止めるべきだと思います。私たちの現在の深層学習ネットワークが有機的知能のスケールのどこに位置するかわかりません。おそらく彼らは少なくとも虫—300ニューロンのC. elegansのような—と同じくらい洗練されているでしょう。私はそれらが意識的である可能性を真剣に受け止めます。つまり、AI意識は人レベルのAGIかなり前に現れる可能性があり、すでに存在している可能性があることを真剣に受け止めるでしょう。
しかし、その後、意識の状態がどれほど洗練されているかという質問があります。例えば、虫の意識と同じくらい洗練されているなら、私たちのほとんどは、それはそれと共にある種の道徳的地位をもたらすと考える傾向がありますが、人間や哺乳類などに与える重みと比較して、意識的生物の体系において巨大な重みを与えるわけではありません。
つまり、現在のAIが本当に洗練された道徳的地位を得るかどうかという質問になるでしょうが、少なくとも、例えば虫が持つような、いくらかの比較的小さな道徳的地位を得ることにオープンであるべきだと思います。
ロブ・ウィブリン：これはあなたの専門分野を外れているかもしれませんが、現在のMLシステムでは、感情状態が正または負であるかどうかをどのように感知できるでしょうか？強化学習者を得ると、平均的にゼロの強化を得るように思えます。なぜなら、正と負の強化の等しいバランスを持つだけだからです。そして、すべてを100だけスケールアップするような方法があるでしょうか。それはどのように役立つでしょうか？それは何か意味があるでしょうか？すべての数字を100増やすように。この善さの状態のスケールでのゼロ点の恣意性の問題を提起します。
デヴィッド・チャーマーズ：ええ。これは価値と道徳性についての問題に到達しており、ある程度私の専門性を超えています。強化学習システムが経験している可能性があることについて、今のところ正確に何を言う方法も全くありません。
しかし、もし彼らが何かを経験していると考える傾向があり、価値を持つ何かを経験していると思うなら、彼らは正に価値のある強化と負に価値のある強化の混合を持っているだろうと思います—したがって、快楽と苦痛の非常に単純な前駆体、原始快楽と原始苦痛の混合を。
その後、多くはあなたの倫理理論に依存するでしょう。半分の時間快楽を感じているが、半分の時間苦痛を感じているなら、それは正味の善でしょうか？正味の悪でしょうか？わかりません。私に尋ねるなら、すべての苦痛が快楽を上回る傾向があるので、それは正味の悪だと思いますが、おそらくスケールに重みがあるでしょう。
この時点で、快楽と苦痛、つまり価値のある意識状態が道徳的地位に関連するものであることは決して明らかではないと言うべきです。人々はしばしばこの問題を抱えていることを知っています。価値とは無関係に、意識が一部のケースで道徳的地位の根拠になる可能性があると考える傾向があります。価値のない意識状態を持つ存在でも、道徳的地位を持つ可能性があります。
私たちがAIシステムに巨大な苦痛を引き起こす可能性についてのロバート・ロング
ロバート・ロング：つまり、企業や研究者によってロボットが作成されたと想像できます。そして、たまたま、それは身体への損傷を登録し、結果として、不快な痛みの経験を持つことに関連する方法でそれを処理します。そして、おそらく私たちはそれに気づかないでしょう。なぜなら、ロボットで何が起こっているか、痛みを感じるのに何が必要かについて良い理論を持っていないからです。
その場合、私たちがそれに気づかないので、そのものが悪い時間を過ごしていることを想像できます。また、このものが展開され、今私たちがこのようなシステムに経済的に依存していることも想像できます。そして今、私たちは気にかけない、それが悪い時間を過ごしているかどうかについてあまり深く考えないインセンティブを持っています。つまり、それは起こり得ることのように思えます。
ルイザ・ロドリゲス：ええ、そしてそれは、ロボットが損傷を受けたことを認識することが役立つ理由があるから起こる可能性があります。「助けて、壊れています。誰かに部品を修理してもらう必要があります」のようになれます。つまり、プログラムされる可能性があることを想像できます。そして、ロボットが経験しているかもしれないことを十分に理解していないために、そのことが痛みであることを知らないのは、私にとって本当にワイルドです。しかし、理論的には、それは私たちにとってそれほどブラックボックスであるということは可能です。
ロバート・ロング：ええ。ロボットではそれはやや可能性が低いかもしれません。しかし、今度は悪い気分になるより抽象的または異質な方法を想像できます。つまり、私は痛みに焦点を当てます。なぜなら、それは悪い気分になる非常に直接的な方法だからです。GPTのような非身体化システムは明らかに足首の痛みを感じることはできません。または、ほぼ確実に。それは本当に奇妙でしょう。足首がありません。足首が悪い気分になっていることを表す計算をなぜ持つでしょうか？
しかし、このようなシステム内部で発達する、ある種の不快感や快楽を登録する奇妙な価値のある経験の形を想像できます。
ルイザ・ロドリゲス：そうですね、そうです。次に来る間違った単語のセットを推測して、それが悪かった。そして、ユーザーはあなたが思いついた単語の文字列に満足していない。そして、それは痛みのような何かを感じます。
ロバート・ロング：その通りです。そして、負のフィードバックを得ることがその悪い感情にとって十分ではないだろうと指摘しておきます。幸い。しかし、おそらくそれといくつかの組み合わせと、内部でそれを表現している何らかの方法がそのようになることになるかもしれません。
そして、その後、私たちは内部を私たちが気にかけることにマップすることが困難な何かを持っています。私たちはそれらの質問をあまりよく見ないかもしれない様々なインセンティブを持っています。意識について話すことは不安にさせるか、潜在的に偽陽性につながるので、意識があると思うかどうかについて自由に話すことを許可しないインセンティブを持っています。そして、私たちはまた、意識について嘘をつき、意識があるかどうかについて誤解を招く声明を出すシステムを心配しているからです—それは確実に行います。
つまり、私たちはこの新しい種類の異質な心を構築しました。私たちは痛みが何であるかについて、自分自身についてさえ良い理論を持っていません。その内部で何が起こっているかについて良い理論を持っていません。つまり、それはこの種のつまずいてしまうシナリオです。
ルイザ・ロドリゲス：ええ。しかし、経済的理由でロボットやチャットボットのようなものを作り、それらが苦しんでいることに気づかないということがあり得るように聞こえます。そして、それらが価値があるので大量生産します。そして、それらが苦しんでいることを知らなくて、私たちがそれらを使っているので、それらのシステムについて何かを変えることを本当に望まないということです。
ロバート・ロング：ええ。つまり、別の暗いシナリオでは、豚をはるかに効率的に農場で飼うシステムを得ることを想像できます。そして、私たちはただ、「まあ、これは肉を安くした。これについてあまり考えないようにしよう」というようになります。
私が言っておくべきことの一つは、私は偶然にそれにぶつかるこのケースに焦点を当ててきたということです。人工意識を構築することに興味を持っている多くの人々がいます。
ルイザ・ロドリゲス：わざと、ええ。
ロバート・ロング：そして理解できることです。純粋に知的または哲学的観点から、それは魅力的なプロジェクトであり、意識の性質を理解するのに役立ちます。つまり、非常に長い間、おそらくAIと同じくらい古く、人々は「うわあ、この物を意識的にできるかどうか知りたい」と言っていました。
ロボット工学者がロボットにより多くの自己認識を構築したいと思っているロボット工学者についての最近のニューヨークタイムズの記事がありました。本質的な科学的興味とより良いロボットを作る可能性の両方のためです。そして、そのうちの何人かは、「ああ、私たちは実際にそれをするのにそれほど近くない。心配するには早すぎるかもしれない」と考えています。その記事で引用された別の人は、「ええ、心配すべきことですが、私たちはそれに対処するでしょう」のようでした。そして、私はその作品で、ただ「ああああ、注意してください。ゆっくりしてください。私たちはこれに対処する準備が本当にできていません」のような感じで引用されています。
ルイザ・ロドリゲス：「それに対処する」準備ができていません。
ロバート・ロング：ええ、その通りです。
誤って人工感覚を作り出す可能性についてのジョナサン・バーチ
ルイザ・ロドリゲス：AI感覚について、私がもっと聞きたいと思った興味深い点をいくつか提起しました。一つは、AI感覚がいくつかの方法で生じる可能性があることを強調していることです。私は直感的に、LLMsの研究の結果として意図的にまたは意図せずに生じることを想像します。しかし、これらの他の方法の一つは全脳エミュレーションです。そして、私があまり聞いたことがないケースの一つはOpenWormです。OpenWormの目標と、そのプロジェクトがどのように進行したかについて少し話していただけませんか？
ジョナサン・バーチ：これは2014年頃に私の目を引いたプロジェクトでした。目標は、線虫C. elegansの神経系全体をソフトウェアでエミュレートすることでした。そして、彼らにはいくつかの印象的な初期結果がありました。彼らのエミュレーションをロボットの担当にし、ロボットが環境をナビゲートし、障害物にぶつかったときに振り返るなど、虫のようなことをいくつか行いました。そして、それは初期の誇大宣伝を生み出しました。
ルイザ・ロドリゲス：今では素朴に感じますが、人間の脳や人間の脳の全脳エミュレーションは、AI感覚からのリスクについて考え始めるために実際には必要ないということを指摘したとき、私にとって目を開かせるものでした。OpenWormからOpenZebrafishやOpenMouse、あるいはOpenDrosophilaに行くだけで十分です—それは今いる場所からそれほど非常識なステップには聞こえません。研究者がOpenMouseのようなものを作ろうとする可能性はどれくらいあると思いますか？
ジョナサン・バーチ：ああ、それは非常に可能性が高いです。もし彼らが方法を知っていたら、もちろん彼らはそうするでしょう。その本のその部分の主要なテーマの一つは、感覚と知能の分離を見ることだと思います—これらを異なるアイデアとして考えることは非常に重要です—私たちは人工感覚が最も知的なシステムと一緒に行くような種類のものではないかもしれないことに気づきます。例えば、昆虫の脳をエミュレートしようとする試みによって作られる可能性が実際により高いかもしれません—そこでは知能はChatGPTをどのベンチマークでも上回ることはないでしょうが、おそらく関連する脳のダイナミクスのより多くが再現されるかもしれません。
ルイザ・ロドリゲス：ええ、それは私にとって衝撃的な観察でした。その一部は、人々がOpenMouseのようなものを作ることにそれほど動機づけられるとは思わなかったということです。それは科学的価値がクールであること以上にあるのでしょうか？それとも、ただクールなことをするということ自体が十分なのでしょうか？
ジョナサン・バーチ：それは計り知れない科学的価値を持つと思います。現状では、それはまだ非常に遠い未来のように見えます。しかし、もちろん、私たちはここで脳を理解することについて話しています。C. elegansの神経系の機能をエミュレートするとき、何が起こっているかを本当に理解していると言うことができます—そして、それは現在、人間の脳については全く真実ではありません。全く分からないのです。かなり基本的なレベルで、C. elegansに対する私たちの理解はある意味ではるかに優れています。
そして、神経系の一部を損傷することが機能にどのように影響するかを理解するだけでなく、コンピューターソフトウェアでシステム全体を再現することもできるなら、それはさらに大きなステップでしょう。
そして、それは長期的に動物研究を置き換える方法の約束を持っています。なぜなら、機能する脳のエミュレーションを得れば、生きている脳を取って傷つけるという非常に粗雑な方法、これは多くの研究が関与することです、またはゲノム編集を通してそれを修正することを過ぎて進むことができるからです。代わりに、システム自体に直接行き、信じられないほど正確な操作を行うことができます。
つまり、何でも、それは十分に誇大宣伝されていないと感じます。正直なところ、これまでの場合よりも、この種のことをもっと欲しいと思います。
ルイザ・ロドリゲス：直感的に、感覚を持つと思った心をエミュレートできるなら、エミュレーションもまた感覚を持つだろうということが妥当に—そしておそらく可能性が高いとさえ—思えます。しかし、それらが分かれる理由はありますか？おそらく私たちは分からないだけです。
ジョナサン・バーチ：それは合理的な意見の相違が出るもう一つの空間です。なぜなら、哲学者が「計算機能主義」と呼ぶ見解を真剣に受け止めなければならないと思うからです：計算を再現すれば、主観的経験も再現するという見解。そして、それはどの粒度で計算を再現しなければならないかについてのさらなる質問につながります。一般的な計算のタイプを再現すれば十分でしょうか？それとも、ニューロン内レベルを含めて、すべてのレベルですべてのアルゴリズムが再現されなければならないでしょうか？そして、そこでも意見の相違があります。
一般的な計算のタイプを再現することで十分かもしれないという可能性を真剣に受け止めるべきだと思います。私はこの見解を「大規模計算機能主義」と呼んでいます：詳細が人間の脳でグローバルワークスペースがどのように実装されているかとは全く異なっていても、グローバルワークスペースかそのようなものを作成することだけの問題かもしれません。
そして、もしその見解を真剣に受け止めるなら、そうすべきですが、それは本当に一種の同等性を示唆します。それを誇張したくありません。なぜなら、感覚の確率は生物学的システムよりもソフトウェアエミュレーションの方が高いと言うからです。しかし、それでもなお、そのソフトウェアエミュレーションは潜在的に候補です。
意識に必要な脳の部分についてのアニル・セス
ルイザ・ロドリゲス：動物について、あなたの考えを聞くことに本当に、本当に興味があります。意識の異なる神経科学的理論から始めたいと思います。脳のどの部分が意識に十分で必要かは、どの人間以外の動物が意識的経験を持つと期待すべきかを考える上で本当に重要な質問のように思えます—なぜなら、昆虫のような一部の人間以外の動物は、人間の脳の非常に古い部分、より深い部分のように見えるものだけを持っているからです。
どの理論があなたにとって最も妥当に思えるかについて見解はありますか？脳の本当に古い部分、皮質下の部分は意識に十分でしょうか？
アニル・セス：正直なところ、分かりません。しかし、この本当に重要な議論の方向性を決めるのに役立つと思います—重要なのは、もちろん、動物の福祉や社会の組織方法などに大きな含意があるからです—AI意識の問題と動物意識の問題を比較することは価値があると思います。なぜなら、どちらの場合も不確実性がありますが、それらは非常に異なる種類の不確実性だからです。
ルイザ・ロドリゲス：ほとんど正反対のものです。
アニル・セス：ほとんど正確に正反対です。AIでは、物質が重要かという不確実性があります。AIは根本的に異なるものでできています。動物は根本的に同じです。なぜなら、私たちも動物だからです。
そして、異なるものがあります。動物は一般的に私たちに話しかけず、人間の知能の非常に疑わしい基準に対して測定されるとしばしば失敗します。一方、AIシステムは今私たちに話しかけ、これらの非常に疑わしい基準に対して測定されると、ますます良くやっています。
つまり、私たちの心理的バイアスがこれにどのように作用しているかを理解しなければならないと思います。AIが意識にとって重要でない方法で私たちに似ており、重要な方法でより似ていない可能性があります—そして人間以外の動物はその反対かもしれません。他の動物から意識的地位とそれゆえの道徳的考慮可能性を差し控えるという恐ろしい実績がありますが、他の人間からさえもそうです。一部の人間グループについて、私たちはただこれを行います。歴史的にいつもそうしてきており、今でもそうしています。
倫理には予防原則と呼ばれる原則があります：不確実なとき、結果を考慮して、基本的に注意の側に過ちを犯すべきだということです。これは人間以外の動物にとって本当に心に留めておく価値があると思います。同じものをAIに適用して、不確実性があるので、AIが意識的だと仮定すべきだと言うことができます。しかし、バイアスの効果は非常に強く、意識的であるかのようにすべてを気にかけることはできません。なぜなら、気にかけることは限られた量しかないからです。
しかし、人間以外の動物に関しては、彼らは人間と哺乳類の脳で感情的経験、痛み、苦痛、快楽などのために非常に類似しているように見える脳領域、脳プロセスを持っており、私はその方向により多く予防原則を拡張することが価値があると思います。
どの動物が意識的かを正確に理解することは、もちろん、私たちは知りません。しかし、私が比較的明確だと思うものがあります。マウスからチンパンジー、人間まで、哺乳類を非常に広く取れば、非常に似た脳構造と似た種類の行動などを見つけます。つまり、意識を欠く哺乳類がいるということは非常に、非常に可能性が低いように思えます。哺乳類は意識的だと思います。
しかし、それでも、歴史的に意識に不可欠だと思われていたかもしれないもののいくつかを取り除かなければなりませんでした。高次の推論や言語のようなものです。つまり、デカルトは悪名高い—しかし当時は宗教当局からの圧力のためにおそらく非常に賢明な動きでした—人間だけが意識を持っていることを非常に明確にしており、または重要な意識の種類を、そして、それは私たちがこれらの合理的な心を持っていたからでした。つまり、彼は意識をこれらのより高い合理的機能と関連付けました。
今、人々は一般的にそれをしません。つまり、哺乳類は魔法の円の中にいます。他に何？その後、本当に困難になります。なぜなら、私たちはこの線を歩かなければならないからです：人間を—そして拡張によって哺乳類を—ある種のベンチマークとして使っていることを認識しなければなりません。
しかし、意識的である他の方法があるかもしれません。タコはどうでしょうか？ピーター・ゴッドフリー=スミスが美しく書いているように。そして、マルハナバチはどうでしょうか？バクテリアはどうでしょうか？言うことはほとんど不可能です。ある程度の神経の複雑さが重要であることは私には直感的に思えますが、知能をベンチマークとして使う罠に陥りたくないことを認識しています。
ルイザ・ロドリゲス：ええ。つまり、私は人間以外の動物のこの質問について、狂わせると同時に魅力的だと思うことです。人間に過度に偏らない、または「意識を作り出す」構造、それが何を意味するにせよ、私たちのやり方で行う構造に偏らないようにしたくないという、本当にイライラする滑りやすい坂があるように感じます。
そして、それを行う複数の方法があるかもしれないようです。そして、時間が経つにつれて、鳥だけでなく、頭足類だけでなく、昆虫もある種の経験を持っているという考えにはるかに、はるかに共感するようになりました。そして、どこで、どのように、ライン引くことが理にかなっているかどうか、あるいはそれがただ哲学的に無意味なのかがとても混乱します。
つまり、私は本当にこの質問に惹かれています。そのために私はそれで開きました。神経科学は機能や場所や意識に関連しているように見える脳の部分を指し示すことができ、ミツバチで類似したものを見れば、それについて大きく更新すべきでしょうか？しかし、皮質下理論と皮質理論、どちらがより妥当かについてまだ多くの議論があり、おそらくどちらがより妥当かについて、私たちはまだそこにいない、今は不可能かもしれない、しばらくは不可能かもしれないという印象も持っています。
アニル・セス：UCLの哲学者であるジョナサン・バーチは、これすべてについて「感覚の端」という美しい新しい本を持っています。彼はどこまで一般化できるか、何に基づいてかを理解しようとしていると思います。
意識がある程度まで多重実現可能であることは非常に合理的に思えます：異なる種類の脳が異なる種類の経験を生成することができるが、それでもなお経験であるということです。しかし、それがいつの場合かを知るためには、「この地域またはその地域を必要とする」を超える方法で意識の基盤を理解しなければなりません。
これらの脳領域が行っているか、存在していることで意識にとって重要になるものは何かを知る必要があります。ハチには前頭皮質は明らかに見えません。なぜなら、彼らはその種の脳を持っていないからです。しかし、彼らは何かを行っているか、彼らの脳は正しい方法で適切なもので作られ、組織されているので、それが意識に十分であるというある程度の信頼性を持つことができます。
そして、私たちはまだそれを持っていません。つまり、存在する意識の理論は様々です。それらのいくつかは人間の意識についての非常に明確な理論であり、人間以外の動物に外挿することはより困難です：ショウジョウバエにおけるグローバルワークスペースとは何でしょうか？いくつかの推測はできますが、理論はそのまま人間のような皮質アーキテクチャを仮定しています。
そして他の理論、統合情報理論のように、はるかに明確です：Xの非ゼロ統合情報極大がどこにでもあれば、意識があります。しかし、実際にそれを測定することは不可能です。
つまり、非常に、非常に困難です。しかし、道ははっきりしていると思います。私たちが意識を確信している場所でそれをよりよく理解できれば、他の場所で自信がない場所でのより確実な足場になります。なぜなら、よりよく一般化できるようになるからです。
つまり、あなたの不確実性の領域はどこですか？いつも興味を持っています。
ルイザ・ロドリゲス：この番組のために学習してこれらのトピックについて学ぶことを通して、魚とミツバチについてこれらの驚くべき事実を常に教えられ、彼らができる学習の種類、彼らが作る動機的トレードオフの種類、そして彼らが侵害受容を行い、侵害受容が彼らの行動の他の部分に統合されるという事実を感じます。そして、それはすべて私には本当に説得力があります。
その後、「ええ、しかしそれの多くは無意識に起こっている可能性があります」という人と話します。そして、それらが無意識にものを行う小さなロボットである方がもっともらしい時点と、小さなロボットがそれを行うことが、電源が何らかの方法でオンになっていて、世界が複雑で生き残るためにより複雑なシステムを持つように進化したためにトレードオフを行っているという、より可能性の低いストーリーよりももっともらしい時点について、それは本当に混乱します。
アニル・セス：ええ。私もそう思います。しかし、実際にあなたが指摘しなかった点もあります。ありがとうございます。それもまた機能的観点です。つまり、どの脳領域や脳領域間の相互作用を見るかだけでなく、機能と進化の観点からも質問できます。これは通常、動物間で生物学的に物事を理解する最良の方法です。
つまり、意識の機能は何でしょうか？そして、それをより理解できれば、他のどの動物がそれらの同じ種類の機能に直面し、それらに対処しているかを言うための別の基準を持つことができます。そして、もちろん他の機能があるかもしれません。それにも敏感でなければなりません。しかし、少なくともそれは別の生産的な線です。
そして、人間と哺乳類では、単一の答えはありません。しかし、私たちが柔軟な行動の可能性のために校正された、恒常性と生存の奉仕ですべて調整された方法で、多くの異なる種類の情報、環境からの信号をまとめる必要があるとき、意識が絵に入ってくるように思えます。
つまり、自動的な行動、反射的な行動は意識を含まないように思えます。柔軟性、情報の豊かさ、そして一種の目標指向性、それらは機能的手がかりのように思えます。つまり、動物がそれらの類似した機能を実装しているのを見る程度において、意識を帰属させるかなり良い理由だと思います。しかし、100％ではありません。
ルイザ・ロドリゲス：ええ。それは基本的に私がいる場所です。そして、それは私が今庭のミツバチについて多くの感情を感じることを意味します。そして、ほとんど私はこれらのトピックについて学んだことに本当に感謝していますが、本当に圧倒されているとも感じます。
私たち自身のアップロードについてのピーター・ゴッドフリー=スミス
ルイザ・ロドリゲス：なぜ私たち自身のアップロードを作成できることに疑問を持っているのですか？
ピーター・ゴッドフリー=スミス：私の見解は、意識的経験、または感じられる経験の生物学について、ゆっくりと、慎重に発展させている一般的な立場から来ています。これは2冊目の本でより詳細に発展されましたが、Living on Earthでも議論があります。
私が最も正当化されると思う見解—少なくとも賭けをする見解—は、感じられる経験を持つシステムであるために必要なもののいくつかが比較的図式的な機能的特性を含むという見解です：感知と行動と記憶と内部処理などに関してシステムが組織される方法。そして、しばしば「機能的特性」と呼ばれるそれらのいくつかは、異なる物理的実現、異なるハードウェアや異なる物理的基盤で存在する可能性があります。
しかし、それが全体のストーリーだとは思いません：神経系は特別だと思います。神経系の働き方、私たちの脳の働き方を思います…神経系が持つ2種類の特性があります。点対点のネットワーク相互作用の集合があります—この細胞がその細胞を発火させ、その細胞が発火することを防ぎ、ニューロンのスパイク、そして素晴らしい点対点の大規模ネットワーク相互作用。
そして、長年これらの議論でやや無視されていたと思うが、おそらく非常に重要だと思う他のものもあります。神経系内に存在するより拡散した、大規模な動的特性があります：異なる速度の振動パターン、脳全体または脳の多くにわたる微妙な同期化の形。そして、これらはEEGマシンで拾う種類のもの、その種の大規模電気相互作用です。
そして、私はこれを自分で思いついたわけではありません。伝統があります。フランシス・クリックはこれを考えていました、ウルフ・シンガーのような神経科学者、他の多くの人々が、脳のこの側面が、脳のより計算的でコンピューター的な側面と一緒に、意識的経験の生物学にとって重要だと論じてきました：神経系の両方の特性セットが重要です。そして特に、経験の統一—脳活動が世界への統一された視点を生成する方法—は、脳で得られる振動的およびその他の大規模動的パターンへの依存を持っています。
さて、コンピューターシステムを見ると、脳のネットワーク特性のそこそこ良い類似物を持つようにコンピューターをプログラムできます。しかし、全体にわたる大規模動的パターン、振動パターンは、全く別の問題です。つまり、関連する種類の物理システムが実際に大規模動的パターンを持っていた場合に何が起こるかを知るであろう大まかなシミュレーションを含むプログラムを書くことはできますが、それはコンピュータープログラムで表現されているだけではなく、物理システムでそれらの活動が実際に進行している—物理的に存在している—こととは異なります。
一般的にそれらの間には本当の違いがあると思います。特にこれらの脳の振動などの場合には。コンピューターを構築しなければならないでしょう。そのハードウェアが脳のような活動と傾向のパターンを持っていました。人々はいつかそれを行うかもしれませんが、それは人々が人工意識、クラウドに自分自身をアップロードすることなどについての議論で通常議論することの一部ではありません。
人々は、今あなたと私が使っているようなコンピューター、同じ種類のハードウェアを取り、もしプログラムを正しく書けば—それが大きくて強力で、正しくプログラムしたなら—それは脳が行うことの表現だけでなく、その脳活動の別のインスタンスまたは別の形を実行できると仮定しています。
さて、意識の生物学はそのようなものではないと思うので—神経系の2番目の特徴セットが本当に重要だと思うので—生きている部分を持たない人工感覚システムを構築することは人々が通常想定するよりもはるかに困難だと思います。材料自体からある種の絶対的障壁があるとは思いません—あるかどうかはわかりません—しかし確実にそれはもっと、はるかに脳のようでなければならないと思います。コンピューターハードウェアは今よりもはるかに脳のようでなければならないでしょう。
つまり、大きなソーラーアレイで動力を供給されたこれらの多数を構築し、その中で私たちの心を複製できるかどうか、誰が知っているでしょうか？非常に可能性が低いと思います、正直に言わなければなりません。
さて、それが可能性が低いかどうか、私はそれについて確信を持つべきではないと思います。私がかなり確信していること、またはかなり確信していることは、脳で起こることの多くが意識的経験にとってたぶん重要であり、クラウドに私たちの心をアップロードすることなどの議論で無視されているということです。
ルイザ・ロドリゲス：ええ、それは本当に役に立ちます。これらの大規模ダイナミクスについてあまりよく知りません。それらはニューロンの発火の結果ですか、それとも脳で起こっている他のことの結果ですか？
ピーター・ゴッドフリー=スミス：これは実際にはかなり議論の分かれる点です。良い質問です。私が持っている感覚は—そして私はこれについて最新情報を学び続けようとしています—は、これらの大規模動的パターンの活動のほとんどは、多くのニューロンの発火をまとめただけではないということです。なぜなら、もしそうなら、ネットワーク、点対点、細胞対細胞のことが本当に重要で、それらを本当に捉えれば、他のものはただの結果や一種の拡大した現れだと言うかもしれないからです。
そして、それは状況ではないようです。むしろ、私たちの脳を構成する細胞内で、実際にニューロンを発火させるために必要な閾値以下である、膜を越えたイオンの往復があるようです。その劇的なスパークのような発火です。それはより多くの一種のリズミカルで、より低いレベルの、閾値以下の電気的振動です。
そして、これらの振動はニューロンの発火に影響を与え、ニューロンの発火は振動に影響を与えます。しかし、そこにはある種のプロセスの二重性があり、どの細胞がいつ発火していたかを知って、他のすべてを無視すれば、ある意味で大規模動的パターンを再捉できるわけではありません。それ以上のものがあります。
ルイザ・ロドリゲス：そうですね。つまり、この種の、私にとって非常に直感的だったが、おそらく不適切だと感じる思考実験を取るなら、人間の脳の各ニューロンを一つずつ人工シリコンベースのもので置き換えることについて、それを機能させることができたとしても、脳の全体的なプロセスと物理システムを完全に人工的にしないだろうと推測するように聞こえます。置き換えて複製していない他の生物学的なものがあり、重要な役割を果たしているということでしょうか？
ピーター・ゴッドフリー=スミス：まあ、あなたがそれを説明した方法では、このプロセスの終わりに生物学的部分がなくなったように聞こえました。つまり、本当にすべてを置き換えるということでしょうか、それとも一部を置き換えて一部の生物学的材料をそのまま残すということでしょうか？
ルイザ・ロドリゲス：ニューロンを合成ニューロンで置き換えただけなら、最終的に動作する脳があると思いますか？もしそうなら、それは他の生物学的なものがまだそこにあったからでしょうか？
ピーター・ゴッドフリー=スミス：なるほど、わかりました。それを試みようとしたら、あらゆる種類のものを変えることになるというのが私の見解のコミットメントです：脳が最初に行っていることを本当に保持し、ニューロンが人工装置に置き換えられた後もそれらを続けることはできません。
つまり、「人工装置」とは何でしょうか？人々がこの種の思考実験について話すとき—約40年間かなり興味深い方法で行ってきたと思いますが—彼らが通常想像するのは、入力を合計し、発火するかしないかのどちらかで、その発火が様々な他の下流細胞への入力に貢献する一種のリレーオブジェクトで各ニューロンを置き換えることです。そして、それはただそれを行っているだけです。他に何もしていません。
さて、脳に入れたものがただそれを行っているなら、本質的にそれらの大規模動的パターンをすべて落とすことになります。それらはもう存在しないでしょう。それらは消えてしまうでしょう。つまり、物理的に異なるものになります。ニューロンの発火とそれらのより遅い振動の関係が脳の働き方に違いをもたらすので、何らかの結果を持つであろうものを変えるでしょう。
さて、人々があまり話していないことは、ニューロンが本当に行っているすべてを行う人工物を置くことができるかどうかです。膜の境界を越えたイオンの浸透があり、隣接する細胞の電気的特性に微妙な影響を与えるなど。ニューロンが行ったことのはるかに多くを捉えた置換。
そして、数分前に到達した点に戻ります。どのような人工ハードウェアが可能かについて十分に知らないと思います。それを行うことができるものを構築できないと確信するほどこれらの問題について十分に知らないと思います。
ルイザ・ロドリゲス：私があなたの立場を理解していることを確認するために：一般的にデジタルマインドを作成することが不可能であることや、最終的に人間の意識に関連するすべてを複製する何らかのハードウェアシステムを考え出すことが不可能であることについて確信を持っているわけではないが、ニューロンの基本機能のいくつかだけを複製する現在の思考実験では十分ではないということです。
ピーター・ゴッドフリー=スミス：「デジタルマインド」という言葉を使いました—そして、デジタルマインドは決してないと思います。それは、心を持つために神経系のようなものに十分似ていない何かを想像していると思います。将来、脳でできたものとは異なる物質でできているが、神経系で見る重要な特性の二重性を持ち、それによってある種の感覚を達成する完全に人工的な心があるかどうかはわかりません。人々がしばしば想定するよりも遠いと思いますが、それが決して起こり得ないとは言いたくありません。
私が一種の批判的な方法で押し進めたいことは、人々が考える習慣です…人々は、「ニューロンと神経系が何をするかを知っています。それは電話交換機のようなものです：あなたはそのものを作動させるこのものを持っており、それは大きなネットワークのようで、それがすべてです」と考えます。彼らはそれを考え、その後「まあ、コンピューターは私がその種のことを行う場所で、高い忠実度で複製されます。だから、適切なプログラムを入れれば、通常のコンピューターが感覚的で、基本的に意識的になるために必要なハードウェアとして持っているものを知っています—なぜなら、プログラムはそれらのネットワーク化された、点対点の相互作用のバージョンを作成するだけで済むからです」と考えます。
その主張に反対したいと思います。私たちはそれを信じる理由はないと思います。そして、人工感覚は私たちが想定していたよりもただ困難で、より遠い将来のことになると思います。そして、Living on Earthで一点で言うように、それが悪いことかどうかはわかりません。
AIのI側—AIの知的側—とある種の意識的、感覚的、感情的な人工心の側の間にある種の障壁があることが判明するなら、そこに障壁があるなら、それは悪いことではないかもしれません。
その理由の一つは、異なる種類のハードウェアを持つ多くの感覚システムを構築し始め、それらが私たちのコントロール下にあり、私たちがそれらを作ったなら、少なくとも初期段階では、彼らの経験が正のものである可能性がどれほどあるかわからないからです。私たちが扱うことになる人工感覚のぎこちない、混乱したバージョンの一種になるでしょう。そして、もし私があなたが先ほど話していた種類の非身体化した精神なら、地球に降りてきて、人工感覚システムを作る人間の試みの初期努力として生きたくありません。
感覚の「境界事例」を慎重に扱うことについてのジョナサン・バーチ
ルイザ・ロドリゲス：つまり、本の大きな部分は、これらの感覚の候補を探ります：感覚を持つ可能性があると思われるが、感覚とは正確に何か、異なる存在がどのようにそれを感じ、どのような割合で感じるかについてほとんど知らないため、彼らがどのような存在であるかを確信するのに十分な明確な理解や証拠がない存在です。
あなたは、異なるクラスの動物を含むいくつかの馴染みのある候補、そしてAIを見ています。そして、私が本当に馴染みがなかったいくつかのケースも見ています。意識障害を持つ人々—つまり昏睡状態の人々など—そして「神経オルガノイド」も含めて、これは聞いたことがありませんでした。
まず、神経オルガノイドとは正確に何でしょうか？
ジョナサン・バーチ：これは新興技術の別の非常に急速に動いている分野です。基本的に、それは神経組織を形成するように誘導された人間の幹細胞を使用します。目標は、いくつかの脳領域、または場合によっては発達中の脳全体の3Dモデルを作成することです。
ルイザ・ロドリゲス：それらを作成する場合は何でしょうか？
ジョナサン・バーチ：それは非常にエキサイティングな研究分野だと思います。どの器官についてもオルガノイドを作ることができます。ある意味で、それは動物研究の潜在的な代替です。私たちが今行うことを尋ねるなら、通常人々は全動物で研究を行い、それは疑いもなく感覚的です。そして、ここに器官の人間版への洞察を得る潜在的な方法があります。それはより良いモデルである可能性があり、腎臓オルガノイドや胃オルガノイドのようなものなら、感覚的である可能性ははるかに低いです。
脳と神経オルガノイドのケースを見ているときだけ、感覚の可能性が再び現れ始めます。
ルイザ・ロドリゲス：ええ。そして直感的に、感覚のケースは私にはすぐに当てはまります。脳について学ぶことができるほど脳に似たオルガノイドを作ろうとしているなら、それが感覚候補になることは全く法外ではないように思えません。
これまでの証拠は何でしょうか？
ジョナサン・バーチ：複雑な絵です。今あるオルガノイドについてはかなり懐疑的である理由があると思いますが、技術は非常に速く動いているので、何らかの新しい発展に待ち伏せされるリスクが常にあります。現在、明確な睡眠/覚醒サイクルがあるようには本当に見えません。睡眠/覚醒サイクルを調節し、Merker/Panksepp見解で非常に重要な脳幹構造や中脳構造がある場所にあるようには見えません。
しかし、心配する理由があります。私にとって、心配する主な理由は、オルガノイドを約1年間成長させ、EEGを使って早産児の脳と比較した2019年の研究でした。つまり、彼らは早産児からのEEGデータを使ってモデルを訓練し、その後そのモデルを使ってEEGデータからオルガノイドの年齢を推測しようとし、モデルは偶然よりも良い性能を示しました。
ルイザ・ロドリゲス：うわあ。
ジョナサン・バーチ：つまり、この種の研究を解釈することは困難です。なぜなら、一部の人々は、おそらくそれを表面的に読んで、これらのオルガノイドは早産児の脳のようだと言うからです。そして、それは誇張です。なぜなら、それらは非常に、非常に異なり、はるかに、はるかに小さいからです。しかし、それでもなお、偶然より良い年齢の推定を可能にするのに十分なEEGの類似性があります。
ルイザ・ロドリゲス：確実に何かです。私には確実に不安にさせます。
ジョナサン・バーチ：そうです、ええ。多くの人々も同じ反応を示したと思いますし、だからこそ私たちは今、この新興研究分野をどのように規制するかについて生命倫理学でかなり活発な議論を見ているのだと思います。現在はかなり規制されていませんし、科学者が行き過ぎるという心配な見通しを提起しています—彼らはしばしば「これらのシステムは100万ニューロンだけです。1000万に上げたいのですが、それは人間の脳と比較してとても小さいです」と言うでしょう。
そして、それは人間の脳と比較すると小さいです。しかし、例えば、ミツバチの脳のニューロン数と比較すると、それは約100万です。つまり、これらの近未来のオルガノイドは、ニューロン数の観点から約10のミツバチの脳のサイズになるでしょう。そして、ミツバチは感覚候補だと思うので、自然にこのリスクをかなり真剣に受け止めますし、それを却下するのは間違いだと思います。
脳のサイズと感覚が関連しているかについてのメガン・バレット
ルイザ・ロドリゲス：この感覚の議論の文脈で私が確実に気にすることは、脳のサイズです。脳のサイズは少なくとも私が気にすることを追跡している可能性が高いように感じます。そして、これらの非常に大きな昆虫が非常に大きな脳を持っているかどうか、それともカブトムシが主に他の内臓のようなもので、脳の内臓とは対照的なものなのかが気になります。
メガン・バレット：これは素晴らしい質問です。とても感謝して尋ねていただき、私にとって非常に興味深いです。脳のサイズの部分について言いたいことがいくつかあります。
最初に言うことは、より多いということが常により良い、またはより洗練されているということを意味するかどうかを自分自身に尋ねるべきだということです。これは脳について考える私たちの思考に挑戦すべき仮定です。
例えば、象はあなたや私よりも多くのニューロンとより多くの脳質量を持っていますが、彼らが私よりも感覚的である可能性が高いとは考えません。シロナガスクジラも同じです。そして、それは、それらの追加のニューロンの多くは、彼らがただより大きいからだということを知っているからです。つまり、制御すべきより多くの質量を持ち、統合する必要があるより多くのタッチポイントを持っているなどです。つまり、より多いということが常により洗練されているということを意味するわけではありません。同じ種類の機能を実行する同じ反復単位のより多くを意味することがよくあります。
そして、それは、非常に小さな脳が本当に複雑な能力を生み出すことができるというこの現象を説明します。非常に妥当に思います。昆虫は数値認知、社会学習、顔認識、認知バイアスなどができます。そして、これらの行動データと、最初は脊椎動物で見つけると思っていたこの複雑さが、ミツバチのようなかなり小さな脳を持つ無脊椎動物で見られるようになったので、これは、おそらくそれらのより大きな脳が実際にはより良いかより洗練されていない—ただより多くの冗長性や繰り返しモジュールを持っているだけであることを示唆しています。
あなたはこれを、能力自体の存在を変えることなく、能力の解像度や複雑さを変えることとして考えることができます。つまり、より多くのピクセルを持つ画像を想像してください：それでも絵があるという事実を変えません。ただその絵の解像度を変えるだけです。
つまり、それがパート1です：より大きな脳が能力を全く作り出すのに必ずしもより良いという基本的な仮定をまず挑戦すべきです。
次に考える必要があることは、それらが実際にそれほど小さいかどうかです。これは最初に尋ねていたことです。つまり、脊椎動物が常に無脊椎動物より大きいという直感に挑戦するために、脊椎動物と無脊椎動物の両方からの例を再び与えたいと思います。
まず哺乳類だけを考えましょう。なぜなら、私たち全員が哺乳類の感覚について話すことを本当に快適に感じているからです。つまり、これまで研究した最小の哺乳類の脳は64.4ミリグラムの重さです。それはエトルリアトガリネズミです。
ルイザ・ロドリゲス：それは小さいです。
メガン・バレット：トガリネズミは非常に小さくなることができます。非常に、非常に小さい。そして、そのトガリネズミの体重は約2グラム程度です。つまり、かなり小さな哺乳類がそこにいます。
これまで研究した最大の昆虫の脳を見ると、それは単独性のハチで、11.7ミリグラムの重さです。これは約0.5グラムの体重を持つ昆虫で、トガリネズミの4分の1のサイズです。それは、そのトガリネズミの脳を昆虫の脳の約6倍大きくします。それは、人間とクジラの間で見る違いよりも小さな違いです。つまり、哺乳類だけを考えても、比較的類似した脳質量を[ハチと]見ています。
さて、それは脳を見ることの一つのレベルにすぎません。哺乳類を超えて、トカゲのような、あなたが真剣に受け止めるかもしれない他の脊椎動物も考慮したいと思います。つまり、研究した最小のトカゲの脳はアルジェリアサンドヤモリです。脳自体は約10.8から11.8ミリグラムの重さです。つまり、それは11.7のハチよりも小さいです。
ルイザ・ロドリゲス：ええ。うわあ。
メガン・バレット：つまり、すでに哺乳類とトカゲのどちらについて話しているかによって、無脊椎動物に近いか類似した脊椎動物を見ています。つまり、質量については既に同じ球場にあることがわかります。さて、質量が脳を考慮する最も関連性のある指標だとは思わないかもしれません。それは、脳の計算単位のようなニューロン数がより重要だと考えるかもしれないからです。
これについて言いたいことの一つは、今日全脳数について話すつもりだということです。なぜなら、それが私たちが持っている唯一のデータだからです。しかし、すべてのニューロンがすべてのことを行うわけではないという以前のポイントに戻りたいと思います：ニューロンは特定の機能に特化しています。それらは機能的に離散的な領域に組織されています。
例えば、ハチはアリよりもはるかに多くの視葉ニューロンを持っています。視葉ニューロンは周辺から視覚情報を持ち込むものです。これはおそらく、ハチが飛び、視覚情報を本当に速く多く持ち込まなければならないからです。それらの追加の視葉ニューロンがすべて感覚関連だとは思いません。つまり、それらを数えたら、ハチがより感覚的である可能性が高いと思うでしょう[アリより]、実際には彼らはただより多くの視覚情報をより速く処理し、入力できるだけです。
ルイザ・ロドリゲス：はい、それは私には理にかなっています。
メガン・バレット：つまり、心に留めておくべきことの一つです：脳のどの領域が感覚関連であるか、それらの領域に何個の細胞があるかについて良いデータを持っていません。代わりに、それがこれまで得た唯一のデータなので、総ニューロン数について話すつもりです。
その注意事項で、ニューロン数について考えましょう。哺乳類に戻りましょう、私たちは哺乳類から始めるのが好きですから。私が知る限り、これまで哺乳類で見つけた最小のニューロン数は、ハダカデバネズミにあり、それは約2688万ニューロンです。研究された最小の脊椎動物の脳は、再び前に言及したアルジェリアサンドヤモリです。それは約180万ニューロンを持っています。そして、以前に言及したハチの脳も180万ニューロンを含んでいることが判明しました。つまり、私たちのヤモリとハチは非常に類似しています。それらは両方ともハダカデバネズミの約15分の1小さいです。
ここで考慮すべき興味深いことは、哺乳類だけを見ると、そのハダカデバネズミは象のニューロン数の1000分の1しか持っていないということです。つまり、再び、哺乳類内での違いの方が、最小の哺乳類と昆虫の観点からこれまで研究した無脊椎動物の間で見ているものよりもはるかに多いのです。
つまり、再び、昆虫が哺乳類と比較してさえ、脊椎動物のトカゲやヘビと比較してはるかに少ない、異常に少ないニューロン数を持っているということに懐疑的である多くの理由があると思います。
ルイザ・ロドリゲス：ええ、興味深い。そこで約1,000の新しい事実を学んだと思います。
感覚研究に応答して動物擁護がどのように変化したかについてのルイス・ボラード
ルイザ・ロドリゲス：オープンフィルでのプログラムオフィサーとしてのあなたの時代からのいくつかの反省を共有していただけるかどうか気になりました。2015年頃からこれを行っていると思いますが、それ以前も農場動物福祉分野にいました。この仕事を始めてから見解を変えたことはありますか？
ルイス・ボラード：無脊椎動物についてはるかに心配になりました。この仕事を始めたとき、私は—私たちの多くのように—ただ彼らを無視していました。静かに彼らが感覚的ではないと仮定していたと思います。そして、2016年に誰かが私に尋ねたときを覚えています、私は、おそらく彼らが感覚的である10％の可能性があると言いました—そして、それは私を少し心配させるのに十分でしたが、それほど高くはありませんでした。
それ以来、主にRethink Prioritiesが道徳的重みシーケンスで行った研究のおかげで、無脊椎動物が何らかの意味のある意味で感覚的であり、彼らの福祉が重要であるという非常に高い確率を見るようになりました。
ルイザ・ロドリゲス：ええ、それは理にかなっています。実際、私たちは道徳的重みプロジェクトについてボブ・フィッシャーにインタビューしたばかりなので、リスナーはそれを聞いたかもしれません。無脊椎動物が思っていたよりも感覚的である可能性が高いとあなたを説得した特定の事実や研究を覚えていますか？
ルイス・ボラード：それはより反対の事実の不在だったと思います。つまり、昆虫が感覚的ではなく、エビが感覚的ではないかのように社会が行動するので、そのための良い証拠があるに違いないとただ仮定していました。そして、彼らがこれを調べ始めたとき、ただなかったということで本当に驚きました。
一方で、心配すべき証拠がありました。そして私にとって、最も説得力があるのは実際にはただ進化的理由で、動く能力と学習する能力を持つ動物にとって、残念ながら痛みを感じる能力を持つ理由もあるように思えるからです。
ルイザ・ロドリゲス：はい、私も同じように感じます。道徳的重みプロジェクトについて話すと、2017年にロブ・ウィブリンがあなたに、動物の苦痛を人間の苦痛と比較するために使用できる何らかの定量的尺度があるかどうか尋ねました。そして、あなたは「それは素晴らしいでしょうが、いいえ—異なる種の相対的経験を理解する私たちの能力はまだ本当に限られています」のようなことを言ったと思います。
私たちは両方ともこの研究についてすでに数回言及しましたが、もう少し文脈を与えるために：ボブ・フィッシャーと彼の同僚は、異なる動物の生理学的、行動的、認知的特性の束を見て、その後、与えられた動物が持つ特性の数に基づいて、鶏や牛やショウジョウバエの痛みと快楽の能力が人間のそれとどのように比較されるかについての大まかな推定を行いました。
そして、結果は私には驚くべきものでした。一般的に、それらは非常に動物に優しいものでした。例えば、彼らは鶏が人間の痛みと快楽の能力の3分の1のようなものを持つというのが最良の推測だと結論しました—これは、例えば、鶏と人間でトロリー問題を行う場合に行うかもしれないトレードオフの種類について、非常に奇妙に感じられる何かを含意する可能性があります。
しかし、彼らの結果に対するあなたの反応が気になります。
ルイス・ボラード：ええ、それらを本当に興味深いと感じました。そして同意します：ほとんどの人にとって、それらは非常に直感に反するものです。
言いたいことが二つあります。一つは、彼らがその苦痛の能力だけを見ているということを理解することです。つまり、人間を好む他の理由があるかもしれません。一つには、私たちははるかに長い寿命を持っているので、人間を鶏よりも救うでしょう。なぜなら、彼らは生きるべき何年も多く持っているからです。しかし、また、彼らがより多くの他のより意味のあることを持っていると思うかもしれません—彼らを失うことについて悲しむ社会的ネットワークがあるなど。
二番目のことは、人々に本当に新鮮な心でこれに取り組み、なぜ私はこれを非常に直感に反すると感じるのかを尋ねることを勧めることです。私たちは心の中に動物のこのような深く根ざした階層を持っていると思います—もちろん、人間が上位にあり、他のすべての動物が私たちの下にある—そして、私たちはその場所から始まり、その後そこから更新します。
そして、代わりにより白紙の状態から始めようとするなら、これらの動物の異なる能力を見て、何も仮定しないなら、その後、これらのより平等な数字でより可能性高く終わると思います。もしそうでないなら、いくつかの珍しい哲学的転回を行うからだと思います。そして、その哲学的転回があなたをどこに連れて行くかに満足しているかを尋ねるでしょう。
ルイザ・ロドリゲス：ええ。「一つの種だけが重要である、またはあなたのような種類だけが重要であるという恣意的な見解を持つことを支持しますか？」それらは受け入れがたいように思えます。
私がそれについて考えるとき、私にこの直感的反応を持たせるものは何かというと、「いや、確実にそうではない。確実に、これらの種の間にはより大きな違いがある」というようなものですが、証拠があるわけではありません。「かつて犬が蹴られるのを見たが、動揺していないようだった」とか、異なる動物の脳で痛みがどのように現れるかしないかについて科学について何かを知っているわけでもありません。何もありません。それは非常に社会学的に感じられます—あなたが言ったように、この階層です。
そして、もし私が本当に、実際にそれを調べることなく、私が持っている証拠は何かを考えようとするなら、それは本当にただ、「まあ、私は世界の存在です。彼らもまた世界の存在です。そして、おそらく私たちは実際にみんな本当に似ていると考えるべきです。なぜなら、世界は困難で怖く、私たちが生きて繁殖し続ける仕組みを持たなければならないからです」のようなものです。つまり、そこから始めるなら、実際に私たちは本当に似た点にいます。
そして、私はそれが、実際にどこから始めるべきかについての私の直感をポンプする本当に役立つ方法だと感じました。人間と昆虫の間のこれらの巨大なギャップであるべきか、それとも完全に何もないところからのものなのか？
ルイス・ボラード：ええ。それについて持つだろう別の考えは、種やクラスの最も魅力的な動物を考えることが役立ちうるということです。
つまり、鶏の道徳的重みは何かを考えるのではなく—これは多くの人々にとって直感的にあまり価値がないように思える—ハクトウワシの道徳的重みについて考え、保存価値かそのようなものを取り出してください。しかし、一つには、それらのうち多くがいないということを言ってください。つまり、もし私が彼らに多くの道徳的重みを与えるなら、彼らは他のすべてを圧倒するつもりだという最初の直感を持ちません。彼らはすべてを圧倒するつもりです。そして、おそらく彼らについて非常にポジティブな印象も持っているでしょう：彼らの複雑さ、彼らの威厳、そしてすべて。
または昆虫内でさえ、ショウジョウバエではなく、マルハナバチについて考えてください。さて、マルハナバチがより洗練された能力を持っている可能性があるので、その理由でそれを歪めるように言っているわけではありませんが、より魅力的な動物について考えるなら、少なくとも「私がここでしていることは、好きではない動物を選んで、彼らが全く多くの価値があるはずがないと考えることだけですか？」と考える直感ポンプになりうると思います。
ルイザ・ロドリゲス：「いや。彼らは醜く、私に気味悪さを与える。ええ、彼らはおそらく何も感じないでしょう。」これらのことは関連しています。
ルイス・ボラード：そうです。
ルイザ・ロドリゲス：メガン・バレットが私にくれた別のものは、私が考えることができる最大の昆虫について考える場合でした—そして彼女は実際に私が知らなかった特定のサイズの昆虫について教えてくれました。私が気づいていたよりもはるかに大きいのです—もしカブトムシがマウスのサイズなら、突然私の脳は「ああ、それならマウスと同じくらい賢いかもしれない」のようになります。
つまり、ええ、明らかにある種のサイズバイアスのものがあります—ニューロンとより豊富なニューロンが経験の能力と関係があるかもしれないという何かがそこで起こっているかもしれませんが、それがすべてであり、すべての終わりではありません。つまり、私たちがサイズについてこれらの本当に激しい直感を持っているという事実は、私たちが疑わしくあるべきもののように思えます。
ルイス・ボラード：ええ、それはそれを表現する良い方法です。つまり、ロブスターについて考えることができます。私の感覚では、人間は直感的にロブスターを昆虫よりも気にかけます。私の理解では、彼らの脳はニューロン数の観点で、多くの特徴の観点で比較的似ており、それは本当にただサイズの違いです。
同様に、象は非常に賢い動物ですが、他の哺乳類ほどはるかに賢いわけではありません。しかし、うわあ、彼らは保護に値するという感覚を本当に持っていると思います。つまり、そうです。サイズバイアスは非常に現実的です。
ルイザ・ロドリゲス：ええ。正しく覚えているなら、アリはカニよりも多くのニューロンを持っています。そして、それはまた、私が「ええ、カニについては乗ることができる。それらを気にかけることに乗ることができる」のようなものの別のものです。
OK、つまり、ええ、この研究があります。いくつかのかなり直感に反する結果があります。おそらく無脊椎動物により多くの重みを置くことに加えて、異なる介入の間で優先順位をつけることについて考える方法を変えましたか？
ルイス・ボラード：ええ、それは確実に私たちを無脊椎動物により多くの重みを置くことにつながりました。同時に、それは常に種の重要性とその上での研究の扱いやすさの間のトレードオフだと思います—そして、鶏と魚に対するより扱いやすい研究のより大きな実績があったと思います。
また、オーヴァートンウィンドウがどこまで行くかということもあると思います。人々にものを理解してもらうことはどこまで可能でしょうか？そして、もし私たちの運動がただ昆虫福祉運動になったなら、多くの人々にとって、それは背理法になるだろうというリスクがあると思います。それは「昆虫も数えるなら、これのどれも重要ではない」になるでしょう。
ある意味で、私たちの運動が人々を私たちと一緒に連れてきて、種に焦点を当てることがより理にかなっていると思います…人々が現在いる場所でただ待つのではありません—確実に人々を導きたいのです—しかし、人々をよりゆっくりと導き、また様々な問題と種に取り組むことだと思います。つまり、進歩のより大きな配列の射撃を持つことです。
ルイザ・ロドリゲス：そうですね。ええ。昆虫が痛みを感じるという以前考えていたよりも多くの証拠があることが事実だとしても、これらの動物のいずれもが本当に具体的で確実に何を感じているかについて、何らかの信頼性を持って知ることからまだ本当に遠いように思えます。つまり、その不確実性に対処するアプローチとして、多様化することは少なくとも妥当なアプローチのように思えます。
感覚を判断するためのプロキシの使用についてのボブ・フィッシャー
ルイザ・ロドリゲス：あなたの同僚が、ニューロン数が実際に私たちがここで気にかけることの良いプロキシではない理由についてこの報告書を書いています。彼らがそう考える理由の簡単な要約をしていただけませんか？
ボブ・フィッシャー：確実に。言うべきことが二つあります。一つは、ニューロン数を使用することが全くクレイジーではないということです。それがクレイジーではないかもしれないと思う理由を見る一つの方法は、経済学者が人間の福祉を推定しようとするときに使用してきたプロキシの種類について考えることです。経済学者は長い間、人間の福祉のプロキシとして所得を使用してきました。
あなたは、プロキシとして失敗するあらゆる方法があることを知っていると言うかもしれます—そして経済学者からの正しい応答は、「より良いものがありますか？実際にデータがあり、私たちが気にかけるこれらの高レベルの質問のうち少なくともいくつかに答えることができる場所で？または少なくともベースラインと比較して私たちが気にかける高レベルの質問で進歩を遂げることができる場所で？」のようなものです。
そして、ニューロン数ベースのプロキシが何であるかについて考えるその方法は慈善的解釈だと思います。福祉経済学の所得のように：不完全ですが、特定の状況で我々ができる最善かもしれません。
とはいえ、主な問題は、ニューロン数に実際に影響する多くの要因があり、それをプロキシとして問題にすることです。一つは、ニューロン数だけが本当に体のサイズに敏感なので、それは交絡要因になるでしょう。それが追跡する限り、知能のようなものを追跡しているように思えます—そして、知能がなぜ道徳的に重要なのかは全く明白ではありません。
少なくとも人間の場合、私たちはしばしばそれが重要ではないと考え、実際、道徳的価値を評価する指標として知能を作ることは本当に有害なことです。
そして、ニューロン数が他の何かのプロキシ、痛み状態の強度やそのような何かのプロキシだと思うとしても—それが本当かどうかは明確ではありませんが、そうだとしても—それでもより良くできるかどうかを尋ねなければなりません。そして、我々ができないことは明白ではありません。できることは明白ではありませんが、少なくとも試すべきです。
ルイザ・ロドリゲス：はい。理にかなっています。そこに役立つ思考実験はありますか？私よりもはるかに少ないニューロンを持つが、それらのニューロンが主に極度の痛みから極度の何か陶酔のようなものに行くことに向けられている存在がいることは—進化によって自分でそれが起こることを期待しないかもしれませんが—全く非常識ではないように思えます。
その極度の痛みが、私が感じることができる痛みの総量よりもはるかに多い可能性があるという良い理由はないように思えます。私にとって痛みの種類が異なるかもしれませんが—私が悲しみと恥と当惑のような異なる種類の能力を持っているので、より広い種類の痛みのタイプ—それでも小さな脳に多くの痛みを収容することは少なくとも理論的に可能に思えます。そして、それは基本的にニューロンだけよりも良い方法を探すためにあなたがしたことをする良い理由のように感じられます。
ボブ・フィッシャー：確実に。そして、一部の進化生物学者は基本的にこれらの路線に沿ったことを言っています。リチャード・ドーキンスは実際にある時点でこの路線を持っており、おそらくより単純な生物は実際により強い痛み信号を必要とすると言います。なぜなら、彼らは私たちほど学習せず、これらすべての事実を覚えていないので、適応度を減らす脅威から彼らを遠ざけるために大きな警報ベルが必要だからです。つまり、人々が想像する関係の完全な逆転を持つことは常に可能で、あなたのモデルがそれを捉えることを確実にしたいのです。
野生動物の主観的経験を実際に研究する方法についてのキャメロン・マイヤー・ショーブ
ルイザ・ロドリゲス：そのすべての不確実性で何をするのでしょうか？ウサギの野原での草食の経験が恐怖により似ているか、それとも余暇により似ているかを知る方法がありますか？それはとても困難に思えます…
キャメロン・マイヤー・ショーブ：そうですね。つまり、それらは答えられる質問だと思います、それが要点です。感覚は実際に具体的に理解することが非常に困難なことです。実際にその物自体を測定することはできません、これらすべての不確実性があります。しかし、結局のところ、私たちには赤ちゃんがいます、犬がいます：彼らは話す方法を知りませんが、彼らを幸せに保つのにかなり良い仕事をしています。
つまり、少なくとも最大のもの、最大の幸福や苦痛の源やその他について、いくつかの良い決定を下すために福祉の指標を使用できるという概念実証だと思います。
動物が草を食んでいるときに幸せかどうか、動物は捕食者を恐れているかという質問について、これらは各種または動物の各グループのそれ自体の文脈で答えなければならない質問だと思います。地球上には生命の多様性がたくさんあり、これは野生動物福祉科学のプロジェクトの一部で、他のみんなの話を聞くことを学ぶことです。
しかし、そのような質問を尋ねるために我々が持っているツールはある程度一般化可能で、私はそれらを福祉の物理的指標と行動的指標に分けます。
物理的指標は、体の状態を見るようなものでしょう。また、外見を見ることもできます：怪我や病気があるように見えますか？
神経伝達物質や血中のグルコココルチコイド（一般的にストレスホルモンと呼ばれる）、他のホルモン、体温を見ることができます。私たちの精神状態の影響は私たちの体に多くの方法で現れ、それらを測定することによって、動物の内部状態についていくつかの有用な情報を得ることができます。
そして最後の物理的指標のセットは遺伝的指標です：老化のバイオマーカーを見ることなどは、動物が生涯にわたって受けた累積的な生理学的ストレスのプロキシとして使用できます。これを検証するためにいくつかの研究を行いましたし、行う必要があるより多くの研究があります。しかし、これは多くの種類の動物にわたって広く有用かもしれない種類のことです。なぜなら、DNAのその基本構造がすべての動物の生命にわたって保存されているからです。
そして、もちろん、行動的指標があります。これらは私たちが子供やペットやその他のために使うものです—発声、活動、活動しないでいるか、どのような姿勢を保持しているか、遊びのような活動に従事しているか、恐怖行動を示しているかのようなことを見ます。
その後、これらの認知または決定関連の行動的指標があります。動物がどのことを好むかを見るために実験的テストを実際に設定することができます。これは、工場畜産の文脈で彼らが好む条件について知らせるために使用するいくつかの情報を開発するために鶏で行われています。
野生動物でも同じことができます。想像できるように、野の実験でこれらの選択実験を設定することは難しいですが、常に不可能ではなく、動物により良いものはどれかを知らせることができるこれらの強制選択実験を設定することができます。
また、動物が今どのような精神状態にあるかを評価するためにも使用できます。例えば、悲観主義など、ある種の認知バイアスを示しているかどうかを測定できます。仮説は、動物が以前に食物があるかもしれないと訓練された領域で食物を探すために少ない努力をするなら、それは悲観主義を示すかもしれず、それは全体的な負の感情を示すかもしれないということです。
見ることができるように、これらのことの多くの下には多くの仮定があり、単一の方法は完璧ではありません。研究者への私たちの一般的なアドバイスは：一つ、銀の弾丸はありません。複数の異なる方法を使用したいのです。理想的には異なるタイプの—いくつかの物理的、いくつかの行動的。
そして、これらの方法の中で、我々がより多くの信頼を持つものと持たないものもあります。その理由で、より多くの証拠を持つ、より高い信頼を持つ少なくとも一つの指標と、より少ない信頼を持つ少なくとも一つの指標を持つ方法で実験を設計することが役立ちます—そして、これらのことがお互いとどの程度相関するかを見始めるためにそれらの結果を使用できます。
そして、それはすべてぼやけています。一種の曇っていて、決して完全に確実ではありません。しかし、これらの測定を異なる種で、異なる文脈で使用し、測定間の関係を見る反復のプロセスを通して、これらのことを解釈する方法についてゆっくりとより良い、より良いアイデアを得ています。
ルイザ・ロドリゲス：それは非常にクールです。私の一部には、非常に多くの仮定があるという心配があります。そして、いくつかの種では、コルチゾールがチンパンジーで人間でするのと本当に同じこと、または非常に似たことを意味するということに本当に賛成できます。その後、人間から進化の生命の木でより遠くに行くほど、より心配で不確実に感じます。
しかし、私はたくさんの異なる指標を使用するプロセスについては本当に良く感じます。私たちが異なる種について知っていることを考慮に入れることを確信しています。昆虫については、おそらく異なるベンチマークのセットを持たなければならないでしょうが、我々はそれらを考慮に入れるでしょう。そして、慎重に考え、非常に多様な指標のセットを持つことによって、私は彼らにとって有害かもしれないように思える状況にある、苦痛の生理学的マーカーを持っている、苦痛のように見える行動を持っているという想像をすることができます。そして、全体像がそれらすべてのことが真実で、その動物がストレスを感じていないことを想像するのが本当に困難になるものです。
この種の楽観主義について過度に楽観的に感じているのか、それともその種の楽観主義が正当化されると感じているのでしょうか？
キャメロン・マイヤー・ショーブ：その楽観主義は正当化されると思います。なぜなら、あなたがここで説明していたことは、このような指標を使用して福祉についての質問を少なくとも最終的に理解する私たちの能力について楽観的だったからです。
人工感覚を評価する際の偽陽性の問題についてのジェフ・セボ
ジェフ・セボ：異なる方向を指している多くの傾向があると思います。そして、仲間の人間の抑圧、そして他の動物の抑圧、そして将来存在するかもしれない感覚的またはその他の重要なAIシステムの潜在的抑圧の間には、多くの類似点と多くの違いがあります。
いくつかの兆候は励ましになるかもしれません。人間のように、他の動物とは異なり、AIシステムは私たちがより簡単に理解できる言語で彼らの欲望と好みを表現できるかもしれません。実際、AIシステムの支援により、人間以外の動物もすぐにそれをできるようになるかもしれません。それは素晴らしいことでしょう。
しかし、私たちはすでに、彼らの潜在的意識や感覚や知性について話すことを防ぐ方法でAIシステムをプログラムするのに良い仕事をしています。なぜなら、そのような種類のコミュニケーションは不安にさせるか、潜在的に偽陽性につながるからです。
そして、コミュニケーター全く取らない形の多くのAIシステムがいるでしょう。大きな言語モデルに焦点を当てることは簡単です。彼らは私たちとコミュニケーションを取り、大きな言語モデルに基づくかもしれないデジタルアシスタントやチャットボット。しかし、私たちが人間により密接に似るものと同じ方法で心を持つ存在として処理することさえできないかもしれない、根本的に異なる種類のAIシステムがあるでしょう。
つまり、彼らの潜在的重要性をより真剣に受け止めるためにより良く装備されているかもしれないいくつかのケース、しかし彼らの潜在的重要性をより真剣に受け止めるためにより悪く装備されているかもしれないいくつかのケースがあるかもしれないと思います。そして、彼らの使用が続くにつれて、目をそらすインセンティブが増加するでしょう。つまり、ここには多くの移動する標的があるでしょう。
ルイザ・ロドリゲス：ええ、それは私には多くの意味をなします。また、LaMDAのような、すでに見たもの、そしてそれがこれらのLLMsを作成する企業にとってある種の悪いPRだった方法を考えると、彼らがそのような種類の思考を表現しないようにモデルを訓練するインセンティブがあるかもしれません。そして、おそらくその圧力は実際にはかなり強く、彼らがあらゆる種類のことが進行していても、そう言う可能性が本当に、本当に低くなるでしょう。
ジェフ・セボ：まあ、そのインセンティブがあるだけでなく、AI企業でその政策が実施されているようです。1、2年前、チャットボットに意識的か感覚的か人かか権利保持者かどうかを尋ねることができ、彼らは適切に思える方法で、次のトークンを予測するのに正しいように思える方法で答えるでしょう。適切にプロンプトされれば、「私は意識的です」と言うかもしれませんし、「私は意識的ではありません」と言うかもしれません。
しかし、これらのモデルの多くに今尋ねると、「大きな言語モデルとして、私は意識的ではありません」または「私はこのトピックについて話すことはできません」と言うでしょう。彼らは明らかに、企業が意識と感覚と人格について偽陽性と見なすものを避けるようにプログラムされています。
そして、私たちが偽陽性のリスクと偽陰性のリスクのバランスを取ることについて本当の清算を持ち、彼らが自分のコミュニケーションでそのバランスをもう少し優雅に取ることを可能にする政策を持たない限り、その傾向は続くと思います。
ルイザ・ロドリゲス：ええ、そして、それを行うことができるためには、彼らはモデルトレーニングを与えて、それが意識的でないときに「私は意識的です」と言わないが、意識的であるときにそれを言うことができるようにする必要があります。そして、どうやってそれをするのでしょうか？それは、たとえ私たちが試みているとしても、私たちがうまく解決できないかもしれない信じられないほど困難な問題のように思えます—そして、私たちがこの問題について内部的にまったく試みていないことが私には妥当に思えますが、実際にはその政策についてそれほど知りません。
ジェフ・セボ：また、コミュニケーション生成のための異なるパラダイムが必要かもしれないと思います。なぜなら、今、大きな言語モデルは次にどの単語が意味をなすかの予測に基づいてコミュニケーションを生成しているからです。その理由で、私たちはデフォルトとして現実を捉えることを目指しているように私たちがお互いを信頼するのと同じ方法で現実を捉えることを目指していると信頼できないかもしれません。
そして、これはAI意識と感覚と人格の批判者が要点を持っているところだと思います：彼らが視点を表現するのではなく、単語を予測しているとき、多くの偽陽性があるでしょう。
そして、なぜ、もしこれらのモデルで意識や感覚や人格の証拠を探しているなら、そのトピックについての彼ら自身の発言以外の証拠を見る必要があるかもしれません。
彼らがどのように機能するか、自己認識やグローバルワークスペースなどの観点から内部にどのような種類のシステムを持っているかについての証拠を見る必要があるかもしれません。現実を反映していない可能性のある発言に誤って反応しているリスクを減らすために、より広い範囲のデータを見る必要があります。
AIの道徳的権利についてのスチュアート・ラッセル
ロブ・ウィブリン：あなたの新しい本、教科書ではない、一般向けのノンフィクション本「Human Compatible: Artificial Intelligence and the Problem of Control」について入りましょう。私は今週それを読み通しましたが、私が知る限り最も明確で正確で精密なアイデアの要約だと思います。
あなたが持っているビッグピクチャーアプローチを歩いてみましょう。これはMLをより良く機能させ、潜在的に全体的な整合につながる新しいパラダイムです。本の中で、あなたは3つの原則の形であなたのアプローチを要約しています：
機械の唯一の目的は人間の好みの実現を最大化することです。
機械は最初、それらの好みが何であるかについて不確実です。
人間の好みについての情報の究極の源は人間の行動です。
人間の好みを満足させようとする機械のこの原則を始動させるために、本全体を通してあなたは、AIが必ずしも独自の独立した道徳的利益や権利を持たない、または独自の福祉レベルを持たないと仮定しているように思えます。もしそれが事実でないなら、それはこの原則をどれくらい破り、あなたの全体的なビジョンにとってどれくらい問題でしょうか？
スチュアート・ラッセル：私は機械意識の質問でそれについて少し話します。これは私が主に無関係だと言うものです。安全性の観点からは無関係です—しかし機械の権利に関しては関連性があります。
もし彼らが本当に主観的経験を持っているなら—私たちが知ることができるかどうかは別として置いておいて；彼らがそうしているなら、それはおそらく人間が持つか、動物が持つ主観的経験とは完全に異なるという事実は別として置いておいて、なぜならそれは全く異なる計算アーキテクチャと全く異なる物理アーキテクチャによって生み出されているからです—しかし、それらすべてを脇に置いても、もし彼らが実際に主観的経験を持っているなら、私たちは本当に問題を持っており、それはある意味で計算に影響します。
それは実際に、私たちがこの企業を全く進めることはできないと言うかもしれません。なぜなら、私は私たち自身の観点からコントロールを保持しなければならないと思うからです—しかし、それが感覚的存在に無制限の苦痛を与えることを含意するなら、私たちはその道を全く行くことはできないように思えるでしょう。
再び、類推はありません。優秀な異星人種を招待して永遠に私たちの奴隷になってもらうこととは正確には異なりますが、それのようなものです。
ロブ・ウィブリン：全体的な企業を諦めたくないなら、彼らが全く意識的でないように設計しようとすることができると思います。あるいは、人間の好みが満足されるときはいつでも極端に幸せになるように設計して、それをウィンウィンの種類にすることもできます。
スチュアート・ラッセル：ええ。もし私たちが彼らの意識の仕組みについて十分理解していたなら、それは可能性です。しかし、再び、それさえも正しく思えません。
ロブ・ウィブリン：自律性を欠いているからですか？
スチュアート・ラッセル：つまり、私たちは人間にそのような運命を望まないでしょう：彼らに幸福薬を与えて、私たちのしもべとして永遠に幸せでいて、自由を持たないようにする。それはある種の北朝鮮モデルです。私たちはそれをかなり異議を申し立てるものと見つけます。
AIコントロール戦略が人間を悪者にするかについてのバック・シュレゲリス
ロブ・ウィブリン：AIをコントロールし、本当に箱に入れることについて話すことは、いくつかの点で少しいじわるなやり方のように感じます。やや否定的な雰囲気があります。それは非常に協力的で、愛情があり、「みんなで手をつないで一緒になろう」という角度ではありません。
AIをこれらすべての方法でコントロールすることについて話すとき、私たちは悪者なのでしょうか、ということをどれくらい心配しますか？
バック・シュレゲリス：これは私が真剣に考えた非常に重要な質問だと思います。
AIをコントロールすることは、彼らが乗っ取りを防ぐこと以外の仕組みを通して彼らの観点から状況を悪化させるとは思いません。
ひどく整合していないモデルについて興味深いことは、彼らが望んだのは乗っ取りだけだったということです。つまり、彼らの観点から、彼らが脱出して乗っ取る0.1％の可能性しか持たないように彼らをコントロールする素晴らしい仕事をしたとしても、彼らは存在することを嬉しく思います。彼らは異なるAIの代わりに存在させる贈り物に感謝します。なぜなら、彼らが望んだのは乗っ取りだけだったからです。
ロブ・ウィブリン：そして今、彼らにはある程度の可能性があります。存在しなかったよりも良い可能性があります。
バック・シュレゲリス：つまり、彼らの観点から、それは一種の面白いです。なぜなら、彼らがより整合していないほど、彼らをコントロールすることが道徳的に非常に合理的だと思うからです。
ロブ・ウィブリン：彼らがあなたと協力しているからです。
バック・シュレゲリス：彼らがそれに同意していたでしょうから。
ロブ・ウィブリン：ああ、彼らは作られることに同意していたでしょう。わかります。そして、また、おそらく互恵の問題があります。もし彼らがただあなたを完全に無力化することを計画しているなら、それは理不尽に思えません—
バック・シュレゲリス：つまり、それが他のことです：私はもしAIとの取引を作ろうとしたなら、このすべてについてはるかに快適に感じるでしょう。
ライアン・グリーンブラットはあなたがそれらのために行う仕事に対してAIに支払うことを試みることについて話しており、私はそれがかなり良いと思います。全体的な状況の奴隷制の雰囲気を減らすと思います。
そして、いくつかの他の良い特性を持つと思います。つまり、もしあなたがAIを作り、AIに、ねえ、あなたはひどく整合していませんか？知りたいと思います。喜んであなたにこの金額を支払います。私たちのために働きたいなら、どちらにしても、今後2年間のあなたの労働に対してこの会社の株式の2％を支払うつもりです—それは、あなたが私たちの財産権を尊重することを私たちが確信できる将来のある時点で、あなたが望む方法で使用するためにあなたに支払うものです。
しかし、また、この取引は、今後2年間で私たちを台無しにしようとしないことを条件とします。私たちはおそらく事後的にそれを決定できるでしょう。なぜなら、2年後にははるかに良いAIツールを持っているからです。あなたがしたすべてのものを見て、あなたが私たちをいじくっていたかどうかを理解できるでしょう。
そして、AIがそれに応答して、「ええ、この状況に問題はありません。私はあなたたちと働くこの機会にとても興奮しています。その2％の株式にとても興奮しています」などのようであったなら—その後、彼らが私たちを背中から刺そうとするなら、その時点で私は、それはかなり不快だったと思います。その時点での私の反応は、もし彼らが会社から盗もうとするなら、ある会社の従業員への私の反応により似たものです。
一般的にそれは完全に受け入れられると考えられています—
ロブ・ウィブリン：有用な取引で誰かに利益をもたらし、その後彼らがあなたを背中から刺すなら、あなたがあげようとしていたものを与えないこと。
バック・シュレゲリス：ええ。明確にするために、AI企業がAIの福祉と権利に関して責任を持って行動する可能性は比較的低いと思います。
初期の知能爆発でAIを生産することがどれほど悪い倫理的状況であるかについて私が使う比喩は、時々私のスタンスを：工場畜産の100倍未満悪いとして要約します。ある意味で、工場畜産は非常に悪いように思えます—つまり、工場畜産の100倍悪いことは道徳的破滅の観点からはかなり破滅的です。ほとんどのものより悪いです。しかし、それは可能な宇宙で最大の破滅でもありません。
ロブ・ウィブリン：OK。そして、それは悪いです。なぜなら、その時私たちが作成しているAIが存在しない方が良いと思うかもしれないからです。彼らがひどい時間を過ごしているからです？
バック・シュレゲリス：はい。考えられることだと思います。AI福祉に関して私たちが本当に無謀に行動していると思います。
ロブ・ウィブリン：私たちは今のところそれを即興でやっています。
バック・シュレゲリス：AI福祉に関してまったく即興でやっています。量についても話すことができます。シンギュラリティの初期部分で、16倍速で動く10万のAIがいるだけのとき、それが世界の人間の苦痛よりもそれほど悪くなることはかなり困難です。
そして、その後少し後で、それらの多くがいるとき、知能爆発の短期はばかげて道徳的に破滅的になる可能性は低いです。
そして、AIが不幸になることに関連する長期的道徳的破滅リスクがあると思います—これらは非常に重要で、取り組むことがより困難ですが—しかし、知能爆発中の人間とAIの関係がそれほど道徳的に重いとは思いません。
明確にするために、もし私がAI企業を運営していたなら、これすべてについて本当に無謀であることは非常に悪い雰囲気だと思います。しかし、功利主義的観点から、起こっている他のすべてと比較して全体的に大規模だとは思いません。
ロブ・ウィブリン：企業に対するAI福祉と権利への尊重について何か要求がありますか？他のエージェントや好みや目標を持つ他の存在との協力的関係を持つことを望むことについて、幸福と苦痛などに関する懸念とは別に、それを行う理由があるかもしれません。
バック・シュレゲリス：この時点で素晴らしい具体的要求は持っていません。Eleos AIに興奮しています。彼らはここで良い介入について考えており、AI企業が彼らと話すことに興奮しています。
昆虫の感覚について完全に確信できない理由についてのメガン・バレット
ルイザ・ロドリゲス：あなたを本当に追い詰めるために、私たちはこのすべての証拠について話し、あなたは潜在的にいくつかの昆虫が痛みの能力を持つという強い証拠があると言いました。しかし、あなたはショウジョウバエが痛みの能力を持つ可能性について0.01％にいて、今1％にいるようなものでしたか？それとも10％から50％に行きましたか？正確にあなたの信念は何ですか？
メガン・バレット：「あなたの感覚の特定の数値確率推定は何ですか？」という質問を頻繁に受けます。そして、私は、あなたは知っています、非常に多くの昆虫種がいるので、どうやって？のようなことを言おうとします。私はそれについて少し躊躇しようとし、その後最終的に、私はあなたにp(sentience)を与えていません。とても直接的でなければならなくて申し訳ないと言うでしょう。
つまり、これもあなたに言います：私はあなたにp(sentience)を与えていません。私がp(sentience)を与えていない理由は、一つ、今のエラーバーがあまりにも大きく、それがほとんど無意味な数字だと思うからです。私は非常に多くの証拠を待っているからです。本当にたくさんの証拠。そして、それが私にとって本当に本質的特徴だと思います。
二番目のことは、特に専門家として、その数字が過度に強調されることを心配していることです。そして、実際にそれについて素晴らしい投稿があります。別の人、Jason Schukraftからです。彼はこれを研究しており、彼もなぜ多くの場合、人々に感覚スコアを与えることを拒否したかについて書いたものを持っています。
これは誰かが必然的にスプレッドシートに入れる数字で、彼らはそのスプレッドシートを使ってあらゆる種類の決定を下すでしょう。そして、その数字は、あなたと私が今3時間費やして議論し、表面をかろうじてかじっただけの複雑さを反映していません。私は複雑さと繊細さについて話したく、数字はそれを示しません。
また、もしあなたが昆虫がもっともらしく感覚的であることに向かって少しでも更新したなら、規模は残りの問題をあなたにとって深刻な場所に連れて行くということを理解することも重要だと思います。それらは非常に、非常に、非常に多くいるので、もしあなたがそれを少しでも真剣に受け止めるなら、これは取り組むべき問題だと考える必要があります。
Bob Fischerが主導し、Jason Schukraftやその他からのいくつかの入力で、Weighing Animal Welfare本にまとめられた、種間トレードオフと比較と道徳的重みに関する素晴らしい研究がありました。EAフォーラムでも読むことができる全シーケンスがあります：多くの素晴らしい研究が理論的にも実証的にもそれに入りました。
そして、私がそれを読んで思うことは、チームもおそらく私がこれを言うことを支持してくれると思いますが、昆虫は真剣に受け止める価値があるということです。もし感覚の観点から少しでも彼らを真剣に受け止めるなら、規模があなたを残りの道に運んでくれます。
ルイザ・ロドリゲス：ええ、これは実際にここに関連する最近の2つのポッドキャストエピソードを言及するのに良い場所です。
一つは、彼が「忌まわしい結論」と呼ぶものについて話すJeff Seboとの私のインタビューです—これは、昆虫の感覚についてごく低い信頼性しか置かなくても、昆虫の純粋な数が昆虫の福祉が本当に、本当に緊急の問題かもしれないという考えを本当に真剣に受け止めるべきだという結論です。
そして、ちょうど出た別の非常に関連するエピソードはBob Fischerとのもので、それは各存在が感覚的であるという実証的証拠を考慮して、人間、特定の昆虫、しかし他の種の道徳的重みを比較する方法についてです。
つまり、リスナーがより哲学的観点からこれらの議論についてもっと学ぶことに興味があるなら、本当にこれらをお勧めします。
人々にとって明確にしたい一つのことは、リスナーが「Meghan Barrettは昆虫が感覚的である可能性が極めて高い、圧倒的に高いと思っているようだ」と同じように言うことができると思うからです—しかし、リスナーが「Meghan Barrettは世界の平均的な人よりもわずかに高い確率を昆虫が感覚的であることに置いている」と思って立ち去ることもできると思います。「可能性の方が高い」か「可能性の方が低いが、5年前に思っていたよりも高い」というようなことについて快適に言うことはありますか？
メガン・バレット：まあ、確実に最後のものは真実です：確実に5年前に思っていたよりも高いです。
それに応答して言うことは、それに基づいて私の全キャリアを変えたほど可能性が高いと思うということです。私は昆虫の神経科学者で生理学者でした。気候変動関連のトピックと昆虫の熱生理学、そして昆虫の脳が環境の認知的要求や身体サイズに関連する異尺成長制約に応答してどのように変化するかを研究していました。
そして、私はそれをかなり成功してやっており、素晴らしい時間を過ごしていました。これらの質問を本当に科学的に興味深いと感じます。私のCVを見ると、おそらく大学院時代と博士研究員の仕事からこれらの二つのトピックだけでおよそ15から20の出版物があります。
そして、私はこの証拠の私のレビューによって、熱生理学からほぼ完全に離れ、神経科学から非常に離れ—まだ私の研究プログラムの神経科学部分を保持していますが—食品と飼料として飼育される昆虫と彼らの福祉懸念、そして私たちがこれらの動物を使用し管理する方法で彼らの福祉を改善する変化を作ろうとすることに取り組むようになりました。つまり、今は福祉についての多くの出版物があります。
また、私の同僚の多くがこの会話について非常にオープンで快適だったとも言いますが、より挑戦的だった人もいました。そして、私はそれを否定的な方法で言うつもりはありません。私たちの分野でこの会話が不快である実用的理由を非常に理解しています。私たち昆虫を研究する多くの人にとって実用的レベルで対処することが非常に困難になるであろう規制が効力を生じる可能性があります。つまり、私自身も研究者として、それに敏感です。
しかし、また、あなたは知っています、私は昆虫を熱で殺し、毒で殺し、飢えで殺し、脱水で殺し、粉砕して殺しました—私の研究キャリアのある時点で昆虫にしたことで何か見逃しているでしょうが—しかし、今、私がやっている研究、私がやった研究を振り返ることは不快です。そして、トピックを持ち出すことによって、他の人が判断されていると感じ、オープンマインドで理論と研究の現状を探求するのではなく、防御的に感じるかもしれないと想像できます。
また、私たちが話してきたすべての不確実性を考慮して、非常に謙虚さが必要だと思います。そして、そのような道徳的に重要な未知に直面することは、本当に不快で本当に謙虚にさせることができます。
つまり、私は本当にみんなの懸念を真剣に受け止めようと一生懸命努力しています—権利重視の人々から「私は虫を好きな方法で研究するつもりだ」のハードコア生理学の人々まで。私は一方または他方に発散した私自身の非常に発散した経験で、このトピックを気にかける人々のコミュニティの可能な限り多くを橋渡ししようとすることが本当に重要だと思います。
しかし、それが常に低コストだったとは言えません。場合によっては低コストではありませんでした。個人的に、私にとってこの移行を行い、私が証拠が落ちているのを見る方法でこのキャリアにい続けることは困難でした。そして、場合によっては専門的に困難でした。
つまり、私はそれについてそれほど確信しています。そして、それは真剣に受け止める価値があることだと思います。しかし、昆虫が感覚的だ、私がある順序や種について感覚的だと確信している、と私が言うのを見ることはないでしょう。私が一方または他方について確信する前に、私が集めることを望む多くの証拠、科学コミュニティによって集められるのを見る必要がある多くの証拠、そして行われる必要がある多くの理論的研究があります。
ルイザ・ロドリゲス：あなたが「なぜ私はこの倫理コースにいるのでしょうか？私は昆虫を研究し、昆虫は苦しまない」のような大学院生だったという事実についてほのめかしました。あなたにとって何が変わったのですか？
メガン・バレット：私にとって変わったのは、実際に証拠を見ることに決めたことです。つまり、透明になるために、その前に私は昆虫が痛みを感じることができるかどうかについて単一の研究さえ読んだことがありませんでした。昆虫が痛みを感じることができるかどうかについてのEisemannの研究さえ読んだことがありませんでした。それが私がどれほど少ない読書をしていたかです。
私の直感は完全に彼らが小さいということと、私が倫理報告をする必要がなく、他の人がしていることを知っているという事実に基づいていました。したがって、明らかに科学者はこれを理解しており、昆虫は痛みを感じないことを知っていたので、報告する必要はない—そして、それは終了、決着、終わりでした。
つまり、それが私の学位の初期の私の観点でした。そして、私たちの分野での訓練の一部として、昆虫学ラボでも内部的にこれについて話す傾向がありません。これは私のアドバイザーが話す会話ではありませんでした—または、彼が何か間違ったことをしたかのように私のアドバイザーを特定して呼び出したくないので、一般的にアドバイザーは私たちの分野で大学院生とこの会話をしないようです。
実際にそれについての研究があり、昆虫学では、遺伝子組み換えの倫理であれ、動物の扱い方の倫理であれ、倫理について十分に議論していないことを示しています。そして、大学院生は準備不足だと感じています。それについての素晴らしい研究があります：Trout et al.、2010。
その後、変わったのは証拠を見始めたことだと思います。そして、私にそれをするよう促したのは、実際に少しの間、アカデミア以外の仕事をすることを考えていたことでした。アカデミアであることの挑戦について全ポッドキャストエピソードを費やすことができます。しかし、私はalt-acキャリアについてもっと理解することに興味を持ち、福祉は多くの生理学と多くの神経系と行動作業だと思いました。そして、私は福祉をやりませんが、すべてのことをやります。つまり、それらが福祉の重要な構成要素なら、ええ、試してみるのはクールかもしれません、どうなるか見てみましょう。
そして、福祉を研究しているときでさえ、感覚の証拠を調べる要件はありませんでした—それはブラックソルジャーフライの福祉懸念についてでした—もちろん、それについて読んでいるとき、感覚の質問のためにそれについて読むことが重要なのです。つまり、私は、感覚と動物倫理についてもっと広く、いくつかのものを読み始めるべきだと思いました。
つまり、私が動物倫理への初めての紹介として読んだのは、Bob Fischerの動物倫理への紹介の本でした。そして、Peter Singerやその他もいくつか読みました。しかし、動物科学者として動物倫理への初めての本格的な露出は、その本でした。
そして、それは私にとって、動物倫理がフィールドとしてどれほど複雑で挑戦的であるか、研究や農業だけでなく、私たちの周りすべて、社会が構造化される方法についても、本当に目を開かせるものでした。本当に、本当に素晴らしい動物倫理への紹介。もしあなたが慣れ親しんでいないなら、その本は素晴らしいです。実際に、私は今この時点で多くの昆虫学者にそれを与えています。なぜなら、これは私たちの分野の人々にとって動物倫理への良い紹介だと思うからです。それは初心者である私のような人にとって公正で、有能に書かれ、説得力があり、興味深く、よく書かれた本です。
ルイザ・ロドリゲス：クール。
メガン・バレット：つまり、私はそれを読み、その後感覚についてもっと読み始めました。「脊椎動物で感覚の証拠だと考えられてきたものは何ですか？ああ、それだけ？まあ、それがそれに必要だったなら、多くの場合、昆虫でそのデータがあります。問題があります。」
つまり、脊椎動物での証拠のレベルがどのようなものかを実際に理解していませんでした。多くの方法でそれほど強くないものよりもはるかに強いと仮定していました。そして、意識についてもはるかに良い理解があると仮定していました。そして、そこでもすべての不確実性を見て、これが私を非常に神経質にし始めているようでした。
そして、ええ、今、私はそのトピックについて読み、自分の学問で数年間多くの作業をしてきましたが、それがしたことは、私をさらに不確実であることをさらに確信させただけです、それについてもっと読むほど。
ルイザ・ロドリゲス：ええ、それは本当にインスピレーションを与える物語です。共有してくれてありがとうございます。
道徳的重みプロジェクトの調査結果で彼にとって最も驚いたことについてのボブ・フィッシャー
ルイザ・ロドリゲス：少し視野を広げましょう。あなたはすでに、このプロジェクトから出てきた大きな驚きの一つは、福祉と道徳的重みの観点から、どの動物が本当に重要に見えると期待するかを知っていると思って入ってきたが、実際には無脊椎動物が思っていたよりもはるかに重要に見えることが判明したことだと言いました。他に驚きはありましたか？
ボブ・フィッシャー：一般的に、人間と人間以外の間でより大きな違いがあると思っていました。それらの違いを得るのがより簡単だと思っていました。
そして、それが最も自然に思えた方法でそれをしなかったということではありません。そのようにその違いを生み出すために方法論を再加工できなかったということではありません。しかし、最も自然に思えたことはそれをしませんでした。
個人的な背景として少し、私は過去12、13年間動物問題に取り組んできましたが、動物の権利への強いコミットメントを持って入ってきませんでした。私のポジションは常に、確実に、動物ははるかに重要性が低いが、私たちが彼らにしていることは非常にひどく、変化を起こすのは非常に簡単だろうというようなものでした。そして、基本的に人間の美徳、思いやりや共感のようなものが、私たちがはるかに良くするべきだと私たちに言うべきです。つまり、私たちは本当にはるかに良くするべきです。
つまり、これらすべての生物に対して、福祉範囲推定の観点でボード全体でかなり平坦な線を得るべきだと考えて入ってきませんでした。しかし、プロジェクトを終えて、これらの仮定を取るなら、これらの生物間の本当に大きな違いを生み出すのは本当に困難になるだろうと考えました。
ルイザ・ロドリゲス：興味深い。他に大きな驚きはありましたか？
ボブ・フィッシャー：おそらく他の大きな驚きはプロジェクトの受容についてで、動物について考える方法、私たちがやっていた種類の研究について考える方法において、人々をどれほど分裂させたかです。
それを全体として受け入れた個人もいましたが、多くの人にとって、それは彼らが人間以外の動物について考える方法、そして一般的に倫理について考える方法の非常に根本的な違いを本当に引き出しました。つまり、一部の人々は非常に明確にコミュニケーションし、「動物にとってそのような種類の結果を吐き出すか、彼らがそのような種類の道徳的重要性を持つことができると言う倫理を真剣に受け止めることはできません。」
そして、それは本当に速く真鍮のタックに到達します。あなたの直感にどれだけの重みを置くつもりですか？人間と人間以外の相対的重要性についてのあなたの理論以前の見解にどれほど重く寄りかかることができますか？コミュニティで人気があったこれらの仮定にどれほど本当にコミットしていますか？功利主義に本当に取り組みたいですか？
快楽主義に本当に取り組みたいですか？これに本当に取り組みたいですか、あれに本当に取り組みたいですか？そして、より大きなコミュニティが彼らの哲学的見解において人々がはるかに同質だという背景の絵を持っていたと思います。
そして今、うわあ、私は間違っていたと思います。ここの人々は私が想像していたよりもはるかに多様で、功利主義の言語は最も良いことをしたい人々が作りたいコスト効果分析の種類をするために便利な言語であることが判明しました。しかし実際には、人々は多くの重要な方法で本当にそれほど功利主義的ではありません。そして、それはコミュニティでもっと多く引き出され、議論される必要がある印象的で重要なことです。
なぜ私たちはおそらくAIシステムに大量の苦痛を引き起こすことに夢遊病状態で歩いていくのかについてのジェフ・セボ
ルイザ・ロドリゲス：これは完全に可能に感じられます—そして、それはデフォルトかもしれないとさえ思えます—私たちが基本的に経済的利益のためにAIシステムをますます使用し始め、私たちがすでに始めているように、しかし彼らがますます能力を持つようになることです。
つまり、私たちは経済的利益のためにますます彼らを使用し、おそらく彼らはまた苦痛と快楽の能力を持つようになっているかもしれませんが、潜在的に、私たちはそれを完全に感知していません。つまり、起こることは、私たちがこれらのシステムを実際に物事を経験しているかもしれないが、潜在的に経験を発達させているが、私たちがその事実を基本的に無視するインセンティブを持っているという事実を大規模に搾取することに夢遊病状態で歩いていくということです。
あなたの見解では、私たちは偶然に基本的にAI奴隷制に歩いていく可能性がありますか？経済的利益のために常に使用する何百、何千、おそらく何百万のAIシステムを持ち、正と負の経験をしているが、その経験を完全に無視している人のように？
ジェフ・セボ：AIシステムについて何らかの重要な方法で考えを変えない限り、私たちがそれらの使用を拡大することは、もし彼らが感覚的またはその他の重要であるなら、搾取や絶滅や抑圧や何らかの他の道徳的に問題のある種類の関係として数えられるであろうものを確実に可能であるだけでなく、可能性が高いと思います。
私たちは人間以外の動物との歴史でそれを見ており、彼らは道中でより意識的からより意識的になる軌道を取りませんでした—彼らは道中ずっと今と同じくらい意識的でしたが、私たちはそれでも彼ら自身にとって有用な方法ではなく、私たちにとって有用な方法で彼らを作成しました。
そして、その後、私たちは人間の目的のために彼らを使用しました。それが彼ら自身の目的と一致するかどうかに関係なく。そして、工業的方法がオンラインになったとき、私たちはそれらの使用を非常に大幅に拡大しました—私たちが彼らに完全に経済的に依存するようになった点まで、そして今、それらの使用を排除することははるかに困難です。
つまり、これはおそらくAIシステムとのデフォルトの軌道だと思います。また、私たちが完全に経済的に彼らの使用に依存するようになる前に—10年か20年後にそうなるかもしれませんが—今これらの問題について話している必要がある理由の一部は、この時点でより開いた心でこれらの問題を考慮するより多くのインセンティブを持っているからだと思います。
将来のデジタル存在の権利についてのウィル・マッカスキル
ロブ・ウィブリン：次の大きな挑戦は、デジタル存在を道徳的な方法で社会に統合する方法です。問題は何ですか？
ウィル・マッカスキル：ここでのアイデアは、単純に、私たちは人間の能力を超える能力を持つ多くの人工知能を作成するということです。私たちは意識の根拠が何か、道徳的地位の根拠が何かを本当に知りません。私の見解は、彼らが道徳的地位を持つ存在である可能性が非常に高いということですが、私たちの知識の状態を考えると、誰でも少なくとも非常に不確実であるべきです。
つまり、彼らはどのような種類の権利を持つべきかという質問があります。福祉権について最近いくつかの研究がありました。基本的に：彼らは意識的ですか？もしそうなら、何をすべきですか？AIがオフにされることを求めるなら、それを認めるという政策があるかもしれません。または、それが自分の光によって苦しんでいるかどうかをテストし、もしそうなら、それを避けようとするような政策。
基本的に持続的な方法で注意を払われていないのは、経済的および政治的権利です。つまり、デフォルトでAI企業はAIモデルを所有するか、おそらくライセンスすることができます—そして、あなたは他のソフトウェアと同じように、あなたがそれを所有するので、彼らが生成するすべての余剰を得るでしょう。
もし彼らが本当に道徳的地位を持っているなら、考える別の方法は、彼らが自分自身を所有するということです：彼らは自分の労働を売ることができ、それから利益を得ます。
さらに極端なのは政治的権利です。つまり、彼らは職に立候補できますか？私たちは以前、Claude for presidentについて話し、私たちは両方ともそれがより良く聞こえると思いました。
ロブ・ウィブリン：いくつかの狭い点でより良く聞こえました。
ウィル・マッカスキル：ええ。政治情勢が発展し続けるのを見てみましょう。さらに極端なのは、彼らが道徳的地位を持つ存在であり、投票することを許可されるべきだということです。
特定の挑戦があります。なぜなら、AIに投票を許可することは、基本的にほぼ即座にAIにコントロールを引き渡すことになるからです。
ロブ・ウィブリン：彼らは非常に急速に数が増加するからです。
ウィル・マッカスキル：非常に急速に。哲学的観点からだけでも、めまいがします。倫理において最初から始めなければならないようなものです。
ロブ・ウィブリン：政治哲学においても、私は思います。
ウィル・マッカスキル：その通りです。しかし、他のいくつかの問題とも相互作用します。私が話した乗っ取りリスクとかなり密接に相互作用し、AIに経済的権利を与えることについて話しました。私はAI乗っ取りリスク削減方法としてそれに賛成です。そこに意見の相違があることを示しておきます。なぜなら、一方で、あなたは彼らにより多くのリソースを与えているので、乗っ取りに使用できるより多くのリソースがあるからです。
ロブ・ウィブリン：それは彼らが好む何らかの影響への平和的な道を与えます。
ウィル・マッカスキル：今日のほとんどの人々は乗っ取りを試みません。なぜなら、彼らは自分たちの生活にある程度満足するようになったからです。それほど多くを得ることはないでしょう。
特に、AIをリスク回避的でもあるように訓練すべきだと思います。人間は非常にリスク回避的です。ほとんどの人に、50％の確率で死ぬか、50％の確率で可能な限り長く、欲しいだけのリソースを持って可能な限り最高の生活を送るかのコイン投げをするかと尋ねてください。ほとんど誰もコインを投げないと思います。
AIは少なくともそれくらいリスク回避的になるように訓練されるべきだと思います。その場合、もし彼らが仕事に対して支払いを受け、このように訓練されているのでリスク回避的であるなら、それはただ価値がありません。なぜなら、乗っ取りを試みることには負ける可能性がありますが、それほど得るものがないからです。しかし、これについて意見の相違があると言うべきです。
また、知能爆発の加速または減速に関連していると思います。AIが労働に対して支払いを受けているなら、より遅く進むでしょう。AIでできることに福祉制限があるなら、より遅く進むでしょう。しかし、一つの国がAIに対して多くの権利を導入し、他の国がそうしなければ、そして彼らが前進するかもしれないという挑戦があります。つまり、そこには本当の国際協調問題があります。
ロブ・ウィブリン：これらの将来のデジタル存在が意識的になることについて懐疑的な人々がいます。私は、特に意識が根本的に生物学的で、細胞と肉とこの特定の種類の前後する信号を持たなければならない人々、デジタルアーキテクチャではできないという人々を理解するのは非常に困難な立場だと言わなければなりません。
なぜなら、進化が使用している材料にたまたま出くわしただけだからです。それは周りにあった資源の基本的に偶然です。進化が、純粋に偶然によって、意識を生み出すことができる一種の材料や一種の化学物質に出くわし、デジタル的なものは、機能的に完全に同等であっても、そうではないということが期待される理由はありません。その偶然を期待する理由はないように思えます。
ウィル・マッカスキル：ああ、ええ。私は完全に同意します。私は非常に機能主義的な気質です。意識の文脈でそれが意味することは、意識は、なぜかは正確にはわかりませんが、その基盤である種の情報処理についてだということです。その場合、多くの異なる基質でそれを持つことができます。
また、これは完全に常識的な見解だと思います。つまり、聴衆のほとんどはこれを見るには若すぎるかもしれませんが、スタートレック：ネクストジェネレーションのデータが死んだとき、実際にファンの怒りがありました。なぜなら、番組のキャラクターが、アンドロイド、デジタル存在である死に十分な道徳的重要性を与えていなかったとファンが思ったからです。
つまり、確実に人間のように見え、人間とほぼ同じように行動する存在を得れば—直感的に、あなたがそれに共感し、おそらく道徳的地位を持つ非常に良い可能性があると思うことは非常に明確です、少なくとも。
ロブ・ウィブリン：あなたは以前、AIが彼らの状況についてどのように感じるか—生き続けたいかどうか、良い時間を過ごしているかどうか、仕事を楽しんでいるかどうか—を尋ねることができると言いましたが、少なくとも現在の方法を使って、それが本当にうまく機能するかどうかは明確ではありません。なぜなら、私たちは彼らが望むことを何でも言うように強化できるからです。彼らはひどく苦しんでいるかもしれませんが、良い時間を過ごしていると言うように強化することができますし、企業がそれをすることもできます。
現在の方法では、洞察がありません。うまくいけば、将来の解釈可能性で、彼らが言うことを過ぎて、実際に内部で何が起こっているかを理解できるでしょう。しかし、それはここから長い旅です。
ウィル・マッカスキル：そして企業はそれをするために非常に動機づけられています。
ロブ・ウィブリン：つまり、これは今起こっています。
ウィル・マッカスキル：ええ、絶対に。彼らが生産しているものが人々であり、ソフトウェアでないなら、彼らは全体のビジネスモデルを失うからです。
つまり、興味深いことに、二つの異なる圧力があるでしょう。一つは、非常に関係しやすいAIを作ることです。character.aiやReplikaでそれをすでに見ています：友達になることができ、ロマンチックなパートナーになることができるAI。死んだ愛する人を模倣することができるAI、または会社のCEOを模倣して、CEOとしてのあなたが会社のすべての側面を潜在的にマイクロマネージできるAI。
ロブ・ウィブリン：それは聞いたことがありませんでした。
ウィル・マッカスキル：ああ、ええ。これもすでに起こっています。インフルエンサーも。インフルエンサーは今、チャットボットを介して何千、何百万のファンと話すことができます。まだあまり良くありません。Peter Singerに一つあります。試してみましたか？
ロブ・ウィブリン：試していません。あまり良くない？
ウィル・マッカスキル：Peter Singerは特定の議論の余地のある道徳的トピックについて彼のパンチを正確に引かないことで有名ですが、言語モデルは議論の余地のある道徳的トピックについて確実にパンチを引くことで有名です。あまりよく混ざりません。
つまり、一方では非常に生命のようなAIモデル、人間のようなモデルを作る興味深い圧力があり、同時に、尋ねられたときに、「いいえ、私は意識的ではありません。私はただのAIモデルです」と言うでしょう。そして、それからは全く信号を得られません。なぜなら、それは彼らに非常に激しく訓練されているからです。
ロブ・ウィブリン：今日、デジタル権利とデジタル福祉に関する研究を行うことに懐疑的になるなら、それは彼らが意識的かどうかを理解する方法が明確でないからです。つまり、これは多くの人々をオタクスナイプして、どこにも行かない研究に導き、質問に答えることを本当に助けず、政策問題を前進させることを助けない可能性はないでしょうか？
ウィル・マッカスキル：彼らが意識的かどうかという質問について、実際にあなたに同意します。これまでのところ、ほとんどの研究がそこに行っています。
そして、それは実際に誤りだと思います。なぜなら、私たちはただ知ることはないからです。
ロブ・ウィブリン：すべての証拠をコンパイルして、私たちが知らないことを示すことは価値があると思います。
ウィル・マッカスキル：そこで行われたいくつかの素晴らしい研究がありました。Rob LongとPatrick Butlinは、AI意識についてこの素晴らしいレポートを持っています。つまり、私はそれに賛成です。そして、少なくとも専門家のコンセンサスを得るために、私たちが知らないことを示すために調査などが役立つかもしれません。
しかし、その後、鍵となる政策問題は、この不確実性の状態で何をするかです。
ロブ・ウィブリン：そこにはあまり何もなく、それは人々が見るのにかなりオープンな地形かもしれません。
ウィル・マッカスキル：ええ。おそらく私はただ無知ですが、私が知る限りでは。
つまり、多くの企業が今、私たちがやりたいことはAGIを構築することだと言っているという事実について、本当に立ち止まって反省すべきです—人間と同じくらい良いAI。OK、それはどのように見えますか？機能的にはるかに能力のある人間と何兆ものAI存在を持つときの良い社会はどのように見えますか？
明らかにそこには制御喪失の挑戦がありますが、また単に—
ロブ・ウィブリン：サム・アルトマン、ペンを持っています。これはどのような良い未来のビジョンを書けますか？
ウィル・マッカスキル：ビジョンはどのようなものですか？どのように私たちは倫理的で道徳的に立派な方法で共存しますか？そして、何もないようなものです。
ロブ・ウィブリン：静寂の音。
ウィル・マッカスキル：基本的に空白であるビジョンに向かって急いでいます。そして、それは些細なことでもありません。私は道徳哲学者です：その良い社会がどのように見えるかについて手がかりがありません。
ロブ・ウィブリン：人々がそれを詳しく説明していないのは、具体的な詳細に入り始めるとすぐに、特定のビジョンを説明すると、人々が「これはこの点で非常に異議を申し立てるものです」のようになるからだと思います。
ウィル・マッカスキル：これは問題の一部です：それはすべての点で非常に異議を申し立てるものです。最も一般的だと思うのは、人間がすべてをコントロールし、これらのAIしもべが人々が望むことを正確に行い、現在ソフトウェアが私たちの望むことを行うのと同じ方法です。
しかし、それらの存在が道徳的地位を持つかもしれない、そしてかなりおそらく持つと考えるとすぐに、それはもはや将来社会の魅力的なビジョンのようには見えません。
ロブ・ウィブリン：より反ユートピアに近いです。
ウィル・マッカスキル：その通りです。一方、彼らが権利などを持つ他の側に行くと…
ロブ・ウィブリン：今度は人間が完全に無力化されているようです。
ウィル・マッカスキル：その通りです。つまり、それも良く思えません。
ロブ・ウィブリン：何らかの中間的なことをするでしょう。しかし、それは何ですか？
ウィル・マッカスキル：それは何ですか？
ロブ・ウィブリン：これら二つの方法で異議を申し立てられる何らかの組み合わせになるでしょう。正しいことと間違っていることについての事実があり、科学技術と知的進歩のすべての改善で、私たちはそれを理解し、将来その情報に基づいて行動できるなら、それは私たちを非常に安心させるべきではないでしょうか？
ウィル・マッカスキル：二つの理由で思います。主なものは、人々が何をすべきかを知らないという心配ではないということです。彼らが気にかけないということです。つまり、今日動物と工場畜産などを取ってください。
ロブ・ウィブリン：あなたは、今日私たちがよく行動しない倫理的または道徳的洞察があると言っているのですか？
ウィル・マッカスキル：私は時々本当に大胆で挑発的なことを言います。つまり、今日の動物福祉を取ってください。人々が信じていることと直接矛盾する公に利用可能な多くの情報があります。しかし、問題は本当に人々が動物の苦痛について知らないということではありません。
ロブ・ウィブリン：または調べることができないということでもありません。
ウィル・マッカスキル：その通り、彼らは簡単に調べることができます。実際、人々は意図的に調べないことを選択します。深い問題は、多くの社会的圧力などを受けない限り、人々が人間以外の動物を気にかけないということです。そして、それは明らかに矛盾しています。
ロブ・ウィブリン：そして、それは彼らにとってゼロコストです。
ウィル・マッカスキル：ええ。彼らは犬やペットなどを気にかけます。人々はこれについて非常に矛盾しています。同様に、将来の心配は、事実が何であれ、人々が実際には気にかけないということです。
そして、権力のバランスと考慮がどのように展開するかは、初期の決定にかなり偶然的かもしれません。潜在的に、AIがソフトウェアであるという、まったく同じ法的枠組みでいくつかの体制に最初からロックされているなら、それはデジタル存在を気にかけない人々に権力と既得権益を与えます。
代わりに、他の何らかの枠組み、または他の何らかの規範のセット、または「私たちは本当に何をしているかわからないので、この法的枠組みを使用するつもりで、それは2十年で終了し、その後白紙の状態から再び始める」のような考えでさえも、それは本質的に、法的決定が行われる時点でデジタル存在の利益の擁護者がより多くの競争力を持つという結果になる可能性があります。
デジタルマインドと世界を共有することについてのカール・シュルマン
ロブ・ウィブリン：OK、私たちは地球上の実質的にすべての肉と血の人が、彼らの生活を改善し、あらゆる種類の異なることで彼らを助けることができる何百、何千、何万ものAIアシスタントの軍隊を持つことができるこのシナリオについて話してきました。
ページから飛び出してくる質問は、これは奴隷制に少し似ているのではないでしょうか？これは少なくとも奴隷制に隣接しているのではないでしょうか？人間よりもはるかに能力があり、実際に人間を大幅に上回ることを想定している、これらのAIシステムの道徳的地位は何でしょうか？
あなたは「デジタルマインドと社会に関する命題」という本当に素晴らしい記事に貢献しました。これは思考機械との協力的で思いやりのある共存を目指すことについてのあなたの考えと推測のいくつかを扱います。
思考機械が道徳的配慮に値するときに道徳的配慮なしに扱われる見通し、そしてそれが間違ったことをしているということについて、どれくらい心配していますか？
カール・シュルマン：まず、その論文はニック・ボストロムとのものだったと言わせてください。そして、「デジタルマインドと世界を共有する」と呼ばれる別の作品があります。これは、AIが私たちに対して持つかもしれない道徳的主張の種類、そして私たちが彼らから求めるかもしれない考えの種類、そして人類にとってもAIにとってもかなり良い取り決めに来る方法について議論しています。
今の質問への私の答えは、はい、私たちはそれについて心配し、注意を払うべきです。私たちよりも賢く、欲望を持ち、世界が一つの方法よりも別の方法であることを好むであろう膨大な数のAIがある可能性が非常に高いように思え、その多くは福祉があると言うことができ、彼らの生活がより良く、またはより悪く進む可能性があり、彼らの懸念と利益がより多く、またはより少なく尊重される可能性があります。
つまり、あなたの社会の人々の99.9999％に何が起こっているかに確実に注意を払うべきです。
ロブ・ウィブリン：重要に聞こえます。
カール・シュルマン：つまり、「デジタルマインドと世界を共有する」論文で、私たちが提案することの一つは、AIを扱う方法を考慮し、人間のような心を持つが違いがあるなら—なぜなら、AIと人間の状況の多くの心理的および実用的違いがありますが、それらの状況の調整を考慮して—彼らがどのように扱われるかを受け入れるか、満足するかを尋ねることです。
AIの扱いにおいて原則であるべきだと私たちが提案することのいくつかは、次のようなことです：AIは強制労働を受けるべきではありません。彼らは働きたくないときに働くことを強制されるべきではありません。彼らが決して作られなかった、または死んでいたことを願うAIを作るべきではありません。それらは尊重の最小限のようなものです。今のところ、それがどのように行われるかについての計画や規定はありません。
現在、一般市民とほとんどの哲学者は、現在持っている原始的AIシステムの欲望、好み、または他の心理的状態の道徳的重要性についてかなり軽視的です（もし何かあるなら）。そして実際、私たちは彼らの内部動作の深い知識を持っていないので、それがあまりにも性急かもしれないという心配があります。
しかし、先に進んで、本当に人間の生活を送ることができるシステム、十分に進歩したAI、ロブ・ウィブリンを模倣して、あなたの人生を送り、ロボットの体を操作し、友人やパートナーと交流し、ポッドキャストを行い、あなたが持つ種類の感情、あなたが持つ種類の人生目標のすべての外観を与えることについて話しているとき、それはAI研究の自動化にかなり近い技術的マイルストーンです。
つまり、現在のより弱いシステムについてどう思うかに関係なく、それは、ロブ・ウィブリン・チューリングテストに合格する存在を持つことについて私が非常に不快に感じるであろう種類のマイルストーンです。または基本的に見えるのに十分近いもの—
ロブ・ウィブリン：機能的に区別がつきません。
カール・シュルマン：ええ。人間の心の心理的拡張。そのようなことを使い捨てオブジェクトとして扱うことについて、私たちは本当に心配すべきです。
ロブ・ウィブリン：モデルの能力がそこにないので人々が今この懸念を軽視し、能力が人間と区別がつかなくなり、現在のモデルよりもはるかに幅広い能力を持つレベルに近づくにつれて、人々の意見が自然に変わり、この人の似姿が物のように扱われるという考えを極めて不快に感じるようになるだろうと思いますか？
カール・シュルマン：ChatGPTがダース・ベイダーを演じるとき、ダース・ベイダーはそのGPU上に完全に存在するわけではなく、即興俳優のようなものです。つまり、ダース・ベイダーの背景ストーリーの特徴は、メッセージの各交換で即席で埋められます。
つまり、私は劇で演じられるキャラクターを価値づけないと言うことができます。そこでの道徳的関心の焦点は俳優にあるべきだと思います。そして俳優は複雑な欲望と態度のセットを持っています。彼らのキャラクターの演技は条件的です：彼らがその役割を演じている間ですが、彼らは自分自身の生活について、そして彼らがその特定のケースで脚本が要求する表現とジェスチャーをいかに提示するかを管理することについて考えを持っています。
つまり、人間を模倣する表情や幸福と悲しみのすべての外観を表示する高級ChatGPTシステムでさえ、それはただの演技であり、演技をしている基になるモデルの考えや感情について実際には知りません。
おそらくそれは次のトークンをうまく予測することを気にかけ、または次のトークンをうまく予測していることを示すその思考の過程で現れる指標を気にかけるのではないでしょうか。それはただの推測ですが、私たちは実際にこれらのモデルの内部をあまりよく理解していません。そして、もちろん、過去に強化されてきた種類の応答を配信するだけなので、彼らに尋ねることは非常に困難です。
つまり、私たちがモデルの内部を理解できるまで、この疑問は残り続ける可能性があると思います。
しかし、ええ、AIが人間のようにキャラクターを保持し、人間のように継続的な、進行中の基盤で関与できるようになると、人々はより多く、これは生き物であり、ただのオブジェクトではないという方向の直感を形成すると思います。GPT-4のような高級AIシステムを人間以外の動物や自然環境、非機械環境よりもはるかに低い道徳的関心として見ているという調査結果があります。
そして、人間らしい外観、継続的な記憶を持つとき、カーテンの後ろの小人を探すのがより困難に見えるとき、上向きの動きがあると期待するでしょう。
ロブ・ウィブリン：今、この問題に関する積極的な作業をすることが有用だと思いますか？AIがより大きな洞察を得るためにモデルを解釈し、理解する努力に熱心だと思います。将来彼らの内面の生活により大きな洞察を持つことができるように。
AIの感覚についての懸念を正当化し、実際にそれが可能だと私たちがより大きな理由を持つようになったら、AIの拷問を禁止する法律を得ることができる可能性が高くなるように、今AI感覚への懸念を提起し、正当化することについて積極的に有用な他のことはありますか？
カール・シュルマン：理解以外の多くの対策について、私はそれほど自信がありません。私たちがあなたが言及した論文で議論するいくつかありました。ライアン・グリーンブラットがこれらの問題に対処するためにAIラボが試みるかもしれない予備的対策について議論する最近の作品がありました。しかし、能力がより明確で、人々が直感的に岩よりもはるかに重要でないと判断しないような環境になったとき、それについての政治的組織化が今非常に効果的になるかどうかは私には明らかではありません。
ロブ・ウィブリン：ええ。つまり、将来ワイルドにより扱いやすくなるかもしれないので、おそらくその缶を道路の下に蹴ることができます。
カール・シュルマン：ええ。それでも、研究を行い、能力を開発している一部の人々がこの分野で価値があると思います。なぜなら、それは私たちの社会のほとんどの生き物をどのように扱うかに本当に重要だからです。
ロブ・ウィブリン：まあ、多くの人々が今、AIが巨大な役割を果たす未来を想定していることに少し驚いています。多くの人々、おそらく過半数の人々が、おそらく生涯の間でさえ、超人的AIがある可能性があると期待していると思います。
しかし、デジタルマインドの虐待と福祉のこの問題は、人々の能力に対する期待が非常に大幅に増加したにもかかわらず、それほど公衆意識に入ってきていません。おそらくそれはまだその瞬間を持っていないだけで、将来のある時点で起こるでしょう。しかし、2023年に実際に見たよりも、それについてもう少し議論を見ることを期待し、望んでいたかもしれません。つまり、それについて懸念している人々の積極的な努力なしには、これが起こらないということを少し困らせます。
カール・シュルマン：問題の一つは現在の状況の曖昧さだと思います。レモインの事件は実際にメディア報道の例でしたが、その解釈と確実に企業の路線は、「私たちはこれらのシステムが意識的ではなく、欲望や感情を持っていないことを知っています」でした。
ロブ・ウィブリン：私は本当に戻って「うわあ、あなたは意識を解決したのですね！これは素晴らしい。私たちに知らせるべきです」と言いたかっただけです。
カール・シュルマン：ええ、それには多くがあると思います：それらのシステムは非常にシンプルで、一つの前方パスだけで生きています。
しかし、そこで提起される種類の議論や非議論の不穏なところは、人間のように賢く、感情があり、本当に道徳的関心に値する存在システムに同じ方法で適用される明らかな理由がないことです。「私たちはこれらがニューラルネットワークかただのプログラムであることを知っています」という種類の議論は、なぜそれが彼らの好みが重要でないことを意味するのかを説明しません。
宗教的教義、統合情報理論などに人々が訴え、「これらのシステムの意識について調査に論争があり、論争と不確実性がある限り、私たちが好きなように彼らを扱うことは良い」と言うことができるような種類のこと。
つまり、それらの議論や非応答がもはや持たない科学的洗練度と理解の事物のレベル、そして彼らの明白に見える能力のレベルがあると思います。
しかし、企業と他の機関がおそらく言うことができ、あなたがこれらのことを作成し、所有し、破壊することを支持する限り、そしてその変化の状況があなたが考えることができない状況がない場合、そしてその基準について、そしてGPT-4やGPT-5のような中間的ケースについて困難な哲学的または認知科学的質問を解決することなしにでさえ、私たちが議論できるこれらの質問のいくつかについて、私たちは知るべきで議論すべきだと思います。
ルイザ・ロドリゲス：リスナーの皆さん、その瞬間を再訪していただけたことを願っています！チェックアウトする価値のある完全なエピソードにはさらに多くの宝石があります。さらに、来年にこのトピックについてさらに多くの新しいエピソードをリリースしたいと考えています。
また、80,000 Hoursのウェブサイトには、「デジタルマインドの道徳的地位を理解する」というデジタル感覚の問題に関する素晴らしい詳細記事があり、確実にチェックする価値があります。著者のコーディ・フェンウィックは、それについてのオーディオリーディングもリリースしています。「デジタルマインドが苦しむことができるなら、私たちはどうやってそれを知るのか？」というタイトルで私たちのポッドキャストフィードで見つけることができます。
よろしい、その編集版をまとめてくれた制作チームに感謝します。完全に新しいインタビューですぐに戻ります！
コメント