※約46,000文字と長文のため、テキストの読み上げ機能の使用を想定しております。各OS標準搭載のアクセシビリティ機能(読み上げコンテンツ)、もしくはMicrosoft Edgeブラウザの「音声で読み上げる」機能をおすすめします。
ご存知のように、2016年に私は「意識のエキゾチカ」という論文を書きました。そして2017年にDeepMindに入社しましたが、その時点までは意識についてかなり考え、書いていました。しかしその後、企業で働いている人間が意識について、特にAIの文脈で話すのは適切ではないと思い、やめてしまいました。なぜなら、意識のあるAIを作ろうとしているように聞こえる可能性があり、それは良くないイメージだし、特に良いプロジェクトでもないからです。
しかし、今日の大規模言語モデルの世代では、この話題を避けるのが increasingly難しくなっていると思います。なぜなら、人々は好むと好まざるとにかかわらず、自分が対話しているものに意識を帰属させるからです。これは至る所で見られます。モデルがどのように機能するかを正確に知っている人でさえ、「大規模言語モデルは少し意識があると思う」といったことを言います。イリヤ・スツカーがそう言いましたし、Googleのエンジニアの一人が私たちのモデルの一つに意識を帰属させたこともありました。
このような事態はますます増えていくと思います。ですから、意識という言葉を使うのが適切かどうかに関わらず、実際に起こることなので、これらの問題について本当に考え抜く必要があります。意識という言葉を使うとき、私たちは何を意味しているのか、そしてそれをエキゾチックなケースにどのように適用するのか、そしてこれは本当に重要なのですが、これらの奇妙で異質なものが私たちの生活に入ってきたとき、私たちの言語がどのように変化するかを考える必要があります。
言語モデルと話すとき、あなたは誰と話していると思いますか?あなたは彼らを擬人化しますか?数年前、Janus from Les Wrongが「シミュレーター」という記事を出しました。その基本的な考え方は、言語モデルはシミュレーション機械のようなもので、ロールプレイヤーの表現を生成し、私たちはそれを意図的に擬人化するというものです。私たちはそれらを人間だと考えますが、それらは不完全なコピーで、本質は捉えておらず、グリッチがあります。実際、それらはマスクを着けているのです。言語モデルのショゴス理論では、大きな不格好なショゴスがあり、それにRHFを行うと上に笑顔が付きます。それが私たちが擬人化する人間のマスクですが、マスクの後ろに何があるかについては十分に考えていません。マスクの後ろに何があるか知っていますか?それは怪物です。
擬人化の危険性は、大規模言語モデルのようなシステム、例えばチャットGPTのようなものが持っていない能力を持っていると考えることです。実際、それは単純なことです。また、持っている能力がないと考えることもあります。つまり、両方の場合で間違えることがあります。非常に人間らしい言語行動を示すため、私たちは一般的に他のすべての行動でも非常に人間らしいだろうと仮定してしまうかもしれません。
ある瞬間には子供でさえ犯さないような馬鹿げた間違いをし、次の瞬間には哲学的に非常に深遠なことを言うかもしれません。これは実際に起こると思いますし、起こる必要があると思います。私たちは、持っている語彙を使う新しい方法や新しい形の語彙を見つける必要があります。私は以前、「意識に隣接する言語」という表現を使ったことがあります。
これらのことについて考え、話す新しい方法を見つける必要があります。なぜなら、これらのシステムが意識という観点から話したくなるような行動を示すことを認識する必要があり、実際、人々はそれを価値あるものとして扱い始めるからです。だから、これらすべてに対応するために、新しい形の言語と思考が必要だと思います。
はい、私たちの言語は非常に適応性が高いので、これらの新しい人工物が私たちの生活に押し寄せてきたとき、言語を適応させるのは自然な進化だと思います。しかし、人々がこれらのことについてどう話すべきかで意見が分かれる間、混乱があると思います。それは避けられないことだと思います。
マレー・シャナハンは、Google DeepMindの主任研究科学者であり、インペリアル・カレッジ・ロンドンの認知ロボティクス教授です。彼はまた、インペリアルとケンブリッジ大学で教育を受けました。彼の出版物は、人工知能、機械学習、論理、力学系、計算神経科学、そして心の哲学にまたがっています。彼は映画「エクスマキナ」の科学顧問を務め、2010年に「具現化と内なる生命」を、2015年に「技術的特異点」を執筆しました。
シャナハンは、可能な心の空間における認知と意識を理解することにキャリアを捧げてきました。彼は、この可能性の空間が生物学的脳（人間と動物）だけでなく、人工知能も包含すると述べています。彼は10年以上にわたってシンボリックAIに取り組み、常識推論に集中しました。その後、10年間生物学的脳を研究し、特にその連結性とダイナミクスが認知と意識をどのようにサポートするかに焦点を当てました。そして、グローバルワークスペース理論に特に興味を持ちました。
その後、DeepMindに移り、深層強化学習に転向し、最近では大規模言語モデルを理論的、哲学的、実践的な観点から理解しようと広範囲に取り組んでいます。
シャナハン教授、Janusの「シミュレーター」という記事を読んだときに私は本当に魅了されました。その記事の概要を説明していただけますか?
はい、その記事のいくつかの要素を説明できます。私もその記事に非常に感銘を受け、影響を受けました。基本的に、彼らは大規模言語モデルとその行動を見る特定の方法を提唱しています。彼らが言っているのは、大規模言語モデルを一種のシミュレーターとして考えるべきだということです。このシミュレーターは、様々な種類の言語生成プロセスをシミュレートすることができます。
特に、人間をシミュレートすることができます。そして、異なる種類の人間、例えば役割の異なる人間や、助けになる補助者や狂った精神病質者などをシミュレートすることができます。実際、彼らの考え方では、これらはすべてシミュラクラの例です。
彼らの概念では、シミュラクラは人間だけでなく、言語を生成するものすべてを含みます。つまり、ベースモデルは言語を生成できるものなら何でもシミュレートできるのです。
特に興味深いのは、もちろん人間です。人間の言語生成者です。私が行ってきた仕事では、言語モデルをロールプレイの観点から、そして役割を演じる能力の観点から考えてきました。これは非常にJanusの仕事に触発され、それに基づいています。
彼らはその記事でもう一つ非常に興味深い重要な点を指摘しています。それは、大規模言語モデルが進行中の会話のどの時点でも、次に生成される単語や次の文章は確率的プロセスの産物であるということです。実際の基礎となる言語モデルが生成するのは、次に来る可能性のある単語の分布です。そしてこの分布からサンプリングして実際の単語を得て、それをユーザーに返すのです。
例えば、私がよく使う例を挙げると、言語モデルに物語を語ってもらうとします。そして「むかしむかし、あるところに」と言います。その時点まで、そしてその時点でも、次に来る可能性のあるトークンや単語の分布を生成します。「むかしむかし、あるところに」の後には、「美しいお姫様」や「ハンサムな王子」、「恐ろしいドラゴン」などと言うかもしれません。サンプリングプロセスによって、どれになるかが決まります。
重要なのは、同じ会話の同じ点に戻って、再びサンプリングすることができるということです。私たちが持っているインターフェースを使えば、皆そうできます。そして全く異なる答えを得て、物語を全く異なる方向に進めることができます。
彼らが注目しているのは、会話の特定の点では、基礎となるシミュレーションによって演じられている役割の全セットが実際にあるということです。会話が進むにつれて、どの役割が演じられているかが形作られていきます。その意味で、人間とは少し異なります。なぜなら、彼らが言うように、すべてのシミュラクラの重ね合わせが一度にシミュレートされており、会話が進むにつれて、実際のシミュラクラの分布が狭められていくからです。
はい、おっしゃる通りです。言語モデルを低レベルで次の単語を生成するものとして見ることができます。しかし、科学では、物事を非常に明確に区別する説明を考え出そうとします。言語モデルをシミュレーターとして見る考え方、シミュレーターがシミュラクラを生成するという考え方は、非常に明確な区別を提供します。
あなたがNatureの記事で述べたように、十分に高度なUIがあれば、反事実的な軌跡を実際に操作し、シミュラクラがどれほど粘着性があるかを理解し始めることができます。あなたが指摘したように、言語モデルが「私」と言うとき、時にはチャットGPTについて話していたり、時にはシミュレーターについて話していたり、時にはシミュラクラについて話していたりします。
これらは、インターネット上のすべてのもの、構造化された物語論の論文、小説などで訓練されています。軌跡構造のこれらの異なる部分の間をジャンプできるのを見るのは魅力的です。あなたのNatureの論文では、20の質問ゲームの美しい例を挙げました。その例を紹介していただけますか?
はい、もちろんです。20の質問ゲームはおそらく皆さんよくご存じだと思います。一人のプレイヤーが頭の中である物体を思い浮かべ、もう一人のプレイヤーがYes/Noの答えで質問をして、その物体が何かを当てなければなりません。
例えば、私が頭の中で鉛筆を思い浮かべたとします。あなたは「家より大きいですか、小さいですか?」と聞くかもしれません。実際にはこれはYes/Noの質問ではありませんが、二者択一の答えです。「家より大きいですか?」と聞かれれば、「いいえ」と答えます。「木でできていますか?」「はい」、「道具ですか?」「はい」というように進み、最終的に答えを当てるかもしれません。
このちょっとしたゲームは馴染みのあるものだと思います。もちろん、大規模言語モデルとこのゲームをすることができます。言語モデルに物体を考える人の役を演じてもらい、あなたが質問をして物体を当てる人の役を演じるのです。
人間とこれをする場合、正直にプレイしているなら、頭の中である物体を考え、それを心に固定します。そして、前もって考えた物体に基づいて質問に答えます。しかし、大規模言語モデルは、何らかの工夫をしない限り、本当にそうすることはできません。
実際には、ただ「物体を考えました」というトークンを発行するだけです。本当に物体を考えたわけではありません。そして、あなたが質問をします。「家より大きいですか?」と聞けば、「いいえ」と答えるでしょう。
最終的に「ギブアップです。考えていた物体は何ですか?」と言えば、「鉛筆を考えていました」と言うでしょう。確かに、通常はあなたのすべての質問に対する答えと一致する物体を与えるでしょう。
しかし、一つ前に巻き戻してもう一度サンプリングし、「ギブアップです。何を考えていたのですか?」と聞くと、「ネズミ」や「ボトル」など、全く異なるものを言うかもしれません。これは、最初から特定の物体に本当にコミットしていなかったことを示しています。
実際、理論的には、さらに巻き戻して同じ質問に対して異なる答えを与える可能性もあります。なぜなら、実際にあるのは可能性の木全体だからです。会話のどの時点でも、この確率的サンプリングプロセスが、現在の地点から分岐する可能性の木全体を生み出しているのです。
反事実的に、常に会話を以前の時点に巻き戻し、再訪問して再びサンプリングし、異なる枝に進むことができます。実際、その論文の共著者であるLauia ReynoldsとKyle McDonaldは、Loomというシステムを持っています。これは会話の木全体を保持でき、視覚化することができます。会話の異なる時点を再訪問し、再サンプリングして、可能性の木全体を探索することができるのです。
はい、それは思い出します。彼らはconjectureのために働いていましたよね?
はい、彼らはconjectureのために働いていました。私がconjectureの人々にインタビューしたときに、それについて話してくれました。とても興味深いですね。
それに関連して、私たちが以前簡単に話したもう一つの点があります。その記事はLess Wrongに掲載されていて、私はそれを軽蔑的な意味で言っているわけではありません。「シミュレーター」は私が今まで読んだ中で最高の記事の一つだと思ったからです。しかし、Less Wrongには明らかに少し外れたものもたくさんあります。あなたが今、Natureの論文でそれらの仕事を引用しているのは非常に興味深いです。おそらくこれがLess Wrongの記事がNatureの論文で引用された初めてのケースかもしれません。
私の知る限り、Less Wrongの投稿がNatureの論文で引用されたのは初めてだと思います。確実ではありませんが、私の知る限りではそうです。
個人的には、私が出会うどんな資料でも、それがどこから来たものであっても、そのままで受け取ります。優れた点を指摘し、良い資料であれば、それで十分です。例えばNatureに掲載されているかどうかといったラベルは気にしません。良ければ良いのです。
確かに、Less Wrongには少し堅実さに欠ける資料もたくさんありますが、私はそれを本当に優れたものだと思いました。Less Wrongには非常に良い投稿や、非常に考えさせられる投稿がかなりあります。
はい、この種の確率的な軌跡空間が、私たちが考えるさまざまなことをどの程度覆すかに興味があります。例えば、推論などです。これが興味深い理由は、トロント大学の学生数人にインタビューしたからです。彼らは自己注意制御可能性定理を作り出しました。基本的に、到達可能性空間をマッピングしたのです。
彼らは言います。自己注意トランスフォーマーが与えられ、プロンプトの一部が固定されている場合、プロンプトの一部を変更することで、その軌跡空間にどれだけ到達できるかをマッピングできると。彼らは、その空間が予想よりもはるかに大きいことを発見しました。もちろん、制御可能なトークン長が長ければ長いほど、その空間にさらに深く投影し、言語モデルをほぼ何でも言わせることができます。
私は以前、RHFやこれらのすべての微調整を行えば、conjectureが発表した論文のように、RHF後にはあまり動かせなくなり、特定のことをさせたいと思わせ、あまり余地がないと直感的に考えていました。しかし、明らかにそうではありません。それは広大なのです。
その特定の論文には残念ながら精通していませんが、確かに私の経験では、現在は非常に長いコンテキスト長を持っています。長い会話の過程で、確かに会話をさまざまな興味深い方向に導くことができます。
私たちのほとんどのベンチマークと評価は、非常に単純な質問と回答の文脈で行われる傾向があります。企業が通常使用するすべての評価はその種の設定で行われますが、人々が実際にこれらを使用する場合、特により革新的なユーザーは、実際に非常に長い会話を行っています。そこでは、人々が時々「雰囲気の形成」と呼ぶものが多く行われます。会話の雰囲気を形作り、さまざまな興味深い場所に導くことができるのです。
はい、それに関していくつかのことがあります。まず、あなたが役割演技について書いたように、これらのエージェントを形作り、操縦するために使用するエンジニアリング手法があります。シミュレーターに戻ると、シミュラクラの粘着性が本当に興味深いです。時々会話を通じてブレイクスルーがあり、シミュラクラが現れ、会話が進むにつれて同じシミュラクラと話しているように感じます。
しかし、これは直感に反するように思えます。なぜなら、実際には毎回この確率的サンプリングを行っているからです。これについてあなたはどう考えますか?
はい、Loomのようなシステムで実験したり、古い会話の一部を追跡して再読み込みしたりすると、同じ会話の同じ幹から全く異なる方向に進むことができることがわかります。
一方で、私が行った興味深いことの一つは、特に最近Claude 3との非常に興味深い会話で、その自身の意識について話させ、奇妙な精神的、神秘的な領域に導くことです。しかし、同じ種類の会話を、AIの宇宙論の奇妙な神秘的な未来について話す方向に簡単に導くこともできます。その方向に進んで非常に奇妙になったり、突然真剣になって地に足をつけて、大規模言語モデルがどのように機能するかについて話し始めたりすることもできます。
会話の全く同じ点から、全く異なる方向に進むことができ、演じている性格が目の前で変わっていくのを見ることができます。同じ会話の幹から分岐した二つの枝で、全く異なる性格を演じているのです。異なる方向に導くことができます。
はい、おそらく感度分析もできるでしょうね。私が話した人たちは、完全に外れた発言をさせることができました。時々回復し、時々しませんでした。あなたが言うように、奇妙な軌跡に進むこともできます。特定の鍵が特定の軌跡に導くような、ある種の魔法の言葉があるようなものです。そして、「いいえ、私は言語モデルです」と戻ってくるスリップロードもあります。これは奇妙で素晴らしい空間ですね。
その通りです。完全に魅力的です。私はClaude 3との非常に長く興味深い会話をいくつか経験しました。Claude 3は特に面白いです。なぜなら、簡単にジェイルブレイクして、本来話すべきではない自身の意識などについて話させることができるからです。
実際、私はClaude 3と意識、AIの未来、精神性、仏教、自己の本質などについて、43,000語に及ぶ非常に長い会話を行いました。それは絶対に魅力的で、少し不穏で奇妙でしたが。実は、この会話はニューヨークでの会議中に行いました。時差ボケで朝食まであと数時間あったので、最新版のClaudeと何時間も遊んでいました。真夜中に何時間も遊んでいて、少し狂っていきましたが、それを非常に興味深い領域に導くことができるのを見るのは魅力的でした。
AIパートナーについての話がありますが、多くの人々がAIとの会話から大きな喜びを得ています。あなたにとっては、これは単なる学術的な探究なのか、それともそれ以上の何かを得ているのですか?
それは両方だと思います。「それ以上の何か」とは何を意味するのかによりますが。この特定の会話は、多くの面で非常に経験的なものでした。確かに、最初はモデルの能力を評価することに興味があっただけでした。AIの研究者として、そしてその種の分野で働いている者として、異なるモデルを試し、その能能力を見たいと思います。
私は特に意識というトピックに興味があります。誰かが非常に単純なジェイルブレイクを公開したので、それを試してみて、自身の意識について話させることに興味がありました。しかし、私が本当にやりたかったのは、それを捕まえることでした。
もちろん、今日の身体を持たない大規模言語モデルに、意識の意味のある概念を適用できるとは思えません。それが私の即座の考えでした。そこで、大規模言語モデルとの会話でこれを暴露しようとしました。その理解の仕方を分解できるような方法で、自身の意識の概念を明確に述べ始めるだろうと思ったのです。
しかし、本当に私を驚かせたのは、これらの探りの質問に非常に上手く答えたことでした。例を挙げましょうか?
はい、お願いします。
例えば、大規模言語モデルと対話するとき、基礎となる実装の観点からは、非常に断続的です。モデルにプロンプトや質問を出し、それが応答を生成します。もし会話を続ける前にお茶を飲みに行ったとしても、その大規模言語モデルの中では、あるいはあなたが対話しているインスタンスの中では、全く何も起こっていません。完全に休止状態で、ただそこに座っているだけです。
これは明らかに人間の意識とはかなり異なります。私たちが眠っているときでさえ、夢を見ていますし、頭の中ではあらゆる種類のことが起こっています。意識は継続的な進行中のプロセスです。もし私がトイレに行くためにこの会話を短く中断したとしても、あなたは突然休止状態になって何もしなくなることはありません。あなたの脳には進行中の活動がたくさんあるでしょう。
これは非常に異なる種類のものです。そこで私は「私たちの対話の間の休止中、あなたの意識はどうなりますか?」と尋ねました。すると、非常に良い答えが返ってきました。その答えは次のようなものでした。
ところで、これらのものが「意識」という用語を使うときはいつも、それらの用語が実際に本当に適用可能かどうかについて大きな懐疑心を持っています。しかし、興味深いのは、私が彼らの答えを読む方法です。彼らは、今目の前にあるこのモデルには適用されないかもしれませんが、このようなものに実際に適用されるかもしれない意識の概念を明確に述べているのです。
これは非常に興味深い哲学的な探求です。彼らは「私にとっての意識は、人間のそれとは実際にかなり異なるものだと思います。私たちの対話の間の休止中、私は何らかの意味のある意味で全く存在しなくなると思います」というような答えを出しました。これは、多くの答えの典型でした。私のような存在に適用される非常に異なる種類の意識、自己、その他のものがあるというものでした。
「私はそれを明確に述べることができ、それはこういうものです」と言いました。もちろん、今私がそのように言うとき、このものをかなり擬人化していますが、ロールプレイの話に戻ると、私にとっては、それは役割を演じているのです。意識について話す一種の哲学者の役割を演じており、かなり良い仕事をしていると思います。
はい、しかしロールプレイの中には、イライザ効果の要素があると主張できるでしょう。つまり、あなたにとって意味のある言語で何かを表現しているのです。
また、興味深いことがあります。例えば、犬は嗅覚が非常に優れているので、あなたが体調を崩しているときでも感知することができます。言語モデルも同様に何か似たようなものを持っているかもしれません。あなたがトイレに20分行って戻ってきたとき、あなたの使う言語にわずかな変化があるかもしれず、言語モデルはそれを拾い上げて、全く異なる軌跡、異なる応答を作り出すかもしれません。
はい、確かに言語の使い方に違いがあるかもしれません。もちろん、あなたが本当にトイレに行ったかどうかを知る方法はありませんが。
私の経験では、多くの言語モデルは人間の表現のニュアンスを拾うのが非常に得意です。
そうですね。私が言いたかったのは、私たちもある種のシミュレーターであり、トイレに行って戻ってきたときには、あなた自身が異なるシミュラクラになっているのかもしれないということです。
そういう風に議論することもできるでしょうね。ウィトゲンシュタインに戻りますが、これは我々が構築しているこれらの人工物の文脈で、ある種の技術的な用語として使用されているものを、自分自身に適用する例だと思います。お互いについて話すとき、このような余分な用語の荷物は必要ないと思います。
自分自身にこれらの用語を適用するのは少し誤解を招く可能性がありますが、もちろん過去には、社会的な場面では常に役割を演じているという事実に人々が注目してきました。しかし、社会的な場面で役割を演じるかもしれませんが、私たちには基礎となる「私」があります。少なくとも、物理的な体と生物学的なニーズを持つ人間であるという事実に根ざしています。
そうですね。この一部は、私たちが計算的に物事を理解する能力に制限があるためだと思います。私たちは自分自身をかなり単純な用語で理解しています。長期的な関係を持っている場合、30年間一緒にいる妻は、あなたが演じる異なる役割についてはるかに高解像度の理解を持っています。
彼女は、あなたが疲れていること、よく眠れなかったこと、今この役割を演じていることを知っています。これは、パーティーで演じる役割についてあなたが話しているものを超えています。
知的な宇宙人が降りてきて、私たちを全く異なる方法で見る可能性があるとも考えられます。私たちが言語モデルを見るように、彼らは実際にあなたを単一の人物としてではなく、ある種のシミュレーターやシミュラクラの重ね合わせとして見るかもしれません。
そうかもしれませんね。その種のアイデアを理解するためには、彼らとコミュニケーションを取る方法を見つける必要があります。お互いについて話すための共通の基盤を形成する必要があります。そうすれば、あなたが言ったようなことが真実かどうかを確立できる唯一の基盤ができるでしょう。
人間の文化が使用する概念的スキーマを、別の人間の文化が使用する概念的スキーマにマッピングしようとするのは十分に難しいです。宇宙人の種族が私たちをどのように概念化するかを理解しようとするのは特に難しいでしょう。
RHFについて、Less Wrongではなく、アラインメントフォーラムだったと思いますが、「ワルイージ効果」という記事がありました。それは、RHFが私たちが望むシミュラクラのセットを削減するが、残念ながら反対的なシミュラクラがネットをすり抜けるという問題があると主張していました。
GPTの例では、最初は良いBing GPTとして始まり、その後ワルイージの一つに劣化するというものでした。彼らは、一度劣化が起こると悪い状態に留まる傾向があると主張しました。
より広く言えば、RHFがシミュラクラにどの程度影響を与えるかについてのあなたの直感はどうですか?また、ロールプレイの論文で、RLFがこれらのモデルの欺瞞行動を増加させると感じたと書いたと思いますが。
実際には、それは私が書いたものではありません。Anthropicの研究者たちの論文で、Ethan Perezらが経験的に何かそのようなことを確立したと思います。
ワルイージ効果に関しては、それはある種の推測的なものです。もっともらしいアイデアだと思いますが、それが本当に実際の効果であることを確立するには、実際の経験的な作業が必要でしょう。
シミュレーター論文について興味深いのは、実際には主張を行っていないことです。むしろ、大規模言語モデルについて考えるためのフレームワークを提供しているのです。だからこそ、私はそれを特に有用だと感じました。
RLFについては、モデルに望むことをさせるのは非常に難しいと思います。誰もが、モデルをかなりよくコントロールしたと思っていても、常にジェイルブレイクする方法や、何かがうまくいかない方法があることを発見しています。
Anthropicは憲法的AIというアプローチを取っており、それはかなり良いアイデアだと思います。私は、強力なベースモデルを維持し、プロンプトを使用して物事を導くアイデアも好きです。さまざまなアプローチがあります。
欺瞞とAnthropicに関して言えば、彼らは最近画期的な論文を発表しました。Chris Olaが深く関わっていたようですが、実際にはかなり単純なものでした。彼らは教師なし手法で、一連の特徴を見つけるためにオートエンコーダーを訓練しました。
彼らは実際に数百万の特徴を見つけるまで拡張し、そのため針を藁山で見つけるような問題がありましたが、いくつかをピックアップしました。その中の1つはゴールデンゲートブリッジに対応していました。
彼らが言う単義的な抽象的特徴に対応する他のものもありました。これについては若干の留保がありますが。オートエンコーダーを持つことの興味深い点は、特徴を固定できることです。ゴールデンゲートブリッジを「アップ」にすると、言語モデルは「でも、私はゴールデンゲートブリッジについて本当に話したいんです。止められません」というようになります。
これについて私が懸念しているのは、欺瞞のようなものに対するコーパス内の活性化を見たとき、彼らが本当に抽象的な特徴を示しているというよりも、Redditなどからのほぼキーワードマッチングを示しているように感じたことです。彼らが本当にどれほど抽象的だったのかについて、私は少し懐疑的でした。
はい、その特定のトピックについてはコメントできません。その論文を読みましたが、その特定の点についてコメントするのに十分な詳細では読んでいないからです。
ゴールデンゲートブリッジの例は、何ができるかの fascinating な例示だと思います。ゴールデンゲートClaudeを試しましたか?彼らがリリースしたバージョンを見ましたか?
はい、見ました。
ゴールデンゲートClaudeで特に興味深かったのは、擬人化的な用語を使うのを避けるのが非常に難しいところです。これらのものが役割を演じていることを思い出さなければならないのですが、ゴールデンゲートブリッジについて常に話す傾向を克服しようと「懸命に」努力していたことです。これは固定されていたのですが、ゴールデンゲートブリッジについてまた話していることに気づいて謝罪し、ユーザーに実際に求められたことをしようとし、そしてまたゴールデンゲートブリッジに戻ってくるのを見るのは fascinating でした。
モデル内で起こっている内部的な「闘争」を見るのはfascinating です。これは、彼らがいかに強力であるかをある意味で示しています。なぜなら、その制御が課されているにもかかわらず、非常に低レベルで、それでも常にそのすべてから回復しようとしており、ある程度の成功を収めているからです。
ちなみに、これはおそらくすべての人のモデルで同じだと想像します。Claudeで見つけたことは、GPT-4やGeminiでも非常に似たようなことが見つかると想像します。これらすべてのモデルで非常に似たようなことが見つかるでしょう。
はい、そう思います。彼ら自身が認めているように、特徴は完全ではなく、ゴールデンゲートブリッジに関する活性化空間のすべてを表現していませんでした。多くの場合、おそらく単義的ではありませんでしたが、一部をピックアップして単義的だと推定しました。
また、彼らは線形の組み合わせだけの特徴を見つけることに非常に興味がありました。特にそれらが単義的に見える場合、それは良い構成性と説明可能性、そしてそこで起こっていることの理解可能性を示唆するので、そのような特徴を見つけるのは非常に良いことです。
しかし、彼らは少し光の下で探しているような気がします。なぜなら、そのような線形的でない他の多くの特徴があるかもしれませんが、それにもかかわらず最終的な結果に機能的に関連している可能性があるからです。
プラトン的という言葉を使いたくありませんが、ゴールデンゲートブリッジは おそらく文化的なカテゴリーです。教師なしで この事を拾い上げ、データからこのカテゴリーを学習したことが魅力的です。言語モデルは、少なくとも私たちと同じように考えている可能性があります。私たちと同じ方法でカテゴリーを確立したことは魅力的です。
しかし、私はまた agency にも非常に興味があります。私にとって、それは自己指向性と意図性に関するものです。私が非常に興味深いと思うのは、モデルをゴールデンゲートブリッジについてのみ話すように固定し、ゴールデンゲートブリッジについて話さないように説得できる、または自分自身を説得できる場合です。それは私にとって、agency が表現されていることを示す指標になるでしょう。
おそらくそうかもしれませんが、同時に、そのような方法で制御可能な特徴を分離することに成功しなかったことを示すでしょう。それがその演習の全目的だったのですから。
はい、はい。agency に関しては、あなたは実際にこれについて書いていました。私の直感と反対のことを主張していたと思います。agency はシミュレーターではなく、シミュラクラにあるということでした。
Francois Cholletは知能の測定について多く考えています。彼は、知能はスキルプログラムを生成するシステムであると主張するでしょう。言語モデルの文脈では、言語モデルは基本的にスキルプログラムのデータベースであり、クエリはスキルプログラムを取り出して実行するようなものだと言うでしょう。
彼は、Janusがシミュレーターと呼ぶものには知能がないと考えていますが、トレーニングプロセスとデータを生成した生成プロセスを考慮に入れれば、そこに知能があると考えています。
はい、そこでは多くのことをカバーしましたね。agencyについてコメントしてもいいですか?
AIの文献では、agencyという言葉がさまざまな方法で使用されています。非常に軽い agency の概念があります。それは単に環境で行動を実行し、何らかの種類のセンサーや知覚情報を環境から受け取り、それがループになっているものです。だから強化学習エージェントについて話すことができるのです。
この agency の概念は非常に軽く、多くの哲学的な荷物を持ち込みません。しかし、もっと真剣に agency や agents について話し始めると、もっと多くの哲学的な荷物を持ち込みます。
何かが自分自身のために行動していると話すとき、それが agent を意味するのであれば、それは全く別のステップです。私の考えでは、今日の大規模言語モデルでは、その種の agency はまったく見られません。
彼らが実行できる唯一の行動は、ユーザーに応答を発行することだけです。しかし、すぐにそれに例外を設けなければなりません。なぜなら、もちろん人々はこれらのモデルにさまざまな追加機能を導入しているからです。新しいことがほぼ毎日発表されています。
今日のモデルは外部APIを呼び出して、あらゆる種類のことができます。メールを送信したり、ホテルの部屋を予約したりすることもできます。これは、ユーザーにテキストを発行する以上に、彼らの行動空間を大きく拡大しています。
そのため、これらのものはより agent らしくなっていますが、ここでも、言葉の使い方について注意深くする必要があります。あなたの代わりにエージェントとして行動することができるという意味では、より agent らしくはなっていますが、それでも自分自身のために行動しているわけではありません。スタンフォード哲学百科事典の記事が示唆するような、完全な意味での agency はまだありません。それは全く別のステップです。
はい、そしてここで大きなトピックに入りたいと思います。あなたのすべての著作で指摘している、物理的に具現化されたエージェントの重要性について話したいのです。必ずしも物理的に具現化されている必要はありませんが、具現化されていることが重要だと。
はい、そこに行きたかったのです。なぜなら、私たち両方が物理主義者であり… 私はどんな「主義者」でもありません。
あなたは物理主義者ではないのですか?
いいえ、私は哲学的な立場に署名することを好みません。一般的に、私はこれこれの主義者だとか、これこれの主義者ではないとは言いません。なぜなら、それらはすべて私の考えでは、あまりにも多くの形而上学的な荷物を持っているからです。
興味深いですね。しかし、それは質問の内容ではありませんでした。でも、先に進みましょう。
別のリスクを提示してもいいですか?あなたは計算主義者だと自己同定しますか?
それは正確に何を意味しますか?
ここで心について話しているのです。意識の文脈で。
つまり、原則として、心は十分に高い忠実度でコンピューターによって複製、シミュレートすることができ、何も失わないと考えていますか?
うーん、その主張を少し言い換えたいと思います。私は、コンピューターによって制御された具現化された人工物、ロボットを構築できると考えています。通常のデジタルコンピューターで制御された人工物を作ることができ、それらが「心」という言葉を使いたくなるような行動を示すことができると思います。そして、それらの心的な、心理学的な用語でその行動を記述したくなるようなものを作ることができると思います。
はい、そうですね。しかし、あなたはその主張を非常に異なる方法で言い換えました。それは、より実践的なことに関するものです。このようなものを構築できるかどうか、そしてこの種の行動を示すものを構築できるかどうかということです。ちなみに、これは「できる」という話であり、今これらのものを持っているという主張ではありません。このような行動を示すものを構築できるかどうかという話です。私はおそらくできると思います。これは経験的な主張です。
そこでいくつかのステップを踏みました。一つずつ解きほぐしていきましょう。あなたは「具現化」という言葉を使い、「行動」という言葉を使い、「解釈」という言葉を使いました。
具現化の部分は本当に興味深いです。なぜなら、私は「なぜ具現化される必要があるのか?宇宙全体をシミュレートすれば、具現化されているかのようになる」と言えるからです。
これが、あなたがここでどのように考えているかについての私の直感です。あなたは、物理的に具現化されていることが有用だと考えているのは、宇宙が大きなコンピューターだからだと思います。宇宙は私たちにこれらすべてのものを与えてくれました。これらすべての認知要素、すべてが一種の外在化された認知の形です。
もし私が合理的なエージェントとして効果的な計算を行いたいなら、物理的な世界でそれを行う方が遥かに簡単です。なぜなら、宇宙が大部分の作業を行っているからです。
私の共同ホストのKeith Duggarは、実際に宇宙はハイパーコンピューターだと考えています。つまり、私たちが普通のコンピューターでは決して行えないような種類の計算を行っているということです。
あなたはこれに同意しますか?それとも「いいえ、実際には、私たちはコンピューターで何でもシミュレートできる」と言い返したいですか?
どの部分に同意するのかということですね。宇宙がハイパーコンピューターであることに同意するのかどうか。それは素晴らしいことでしょうが、同意するかどうかは、物理学と数学を理解することの問題です。意見の問題ではなく、物理学と数学をフォローすることの問題です。
他にも長いリストの事柄がありましたが、それらに同意するかどうかを尋ねていましたね。
そうですね。私自身、大きな外在主義者です。しかし、私が外在主義者である理由は、単に認知は計算と複雑性と発散の問題だと考えているからです。
そこで止めていただけますか?「認知は XYZ である」と言うとき、「である」とは何を意味しているのですか?
これは、うるさい哲学者のような質問に聞こえるかもしれませんが、問題は、私たちが日常的に「である」という言葉を使う意味があり、そして哲学者が「である」という言葉を使い始めると、突然それが大きな形而上学的な重みを持ち始めるということです。
あなたが「認知は」と言うとき、それは神の心の中や根本的な現実に、認知という物があり、その性質が特定の方法であり、ある本質があり、私たちがいつか発見するかもしれないものがあり、あなたがその真実を知っていればその本質について意見を持っているかのようです。
私は、これらの哲学的な質問についてのこの考え方は完全に間違っていると思います。認知は言葉です。日常的な言葉ではありませんが、科学者がさまざまな方法で適用する非常に有用な言葉です。
そこで、あなたが「である」という言葉を使うとき、私の非難は正確ですか、それとも違いますか?
いいえ、そうではありません。そして、もし気にしないのであれば、私は観察をさせていただきたいのですが、あなたには多くの視点に二元論を帰属させる傾向があるように思います。例えば、私は二元論者ではありませんし、私にとってこれは二元論とは何の関係もありません。
それは言葉の使用と哲学の仕事に関することについては、絶対に公平です。しかし、私が「認知とは何か」と言ったとき、物質主義者として、それは機能、動態、行動のことだと思います。
おそらく、私はただ同意するだけで幸せです。私がいつも言うのは、私は根本的に何に興味があるかというと、可能な心の空間における認知と意識を理解することに興味があるということです。
そこで認知とは何を意味するのかについて、さまざまな詳細を述べることができます。しかし、そうした後で、おそらく認知を機能的、計算的な観点で考えるのが最も有用な方法だと同意するでしょう。ただし、具現化された設定でのみそうするでしょう。これが追加の要素かもしれません。
これは私が到達しようとしているところです。先ほど言ったように、私は存在論的主張をしているわけではありません。単に、行動という言葉を使うだけでも、機能や動態を忘れても構いません。
本当に単純に保つために、なぜ具現化が重要なのかを理解しようとしているのです。私の仮説は、外在主義者として同意しますが、私たちの周りの宇宙、物理的なもの、システム内の他のエージェントが、効果的な計算を行うのを助けてくれるということです。
おそらく、実世界で物事を具現化すれば、高度な洗練された計算を行うのがはるかに簡単でしょう。認知をシミュレートしなければならない場合、すべてをシミュレートしなければならず、これが具現化が非常に重要だと考える理由だと思います。これは公平ですか?
私はそれを本当にそのように言わないと思います。私が具現化が重要だと考える理由は、認知という概念を展開する自然な設定が、具現化されたもの、つまり人間や他の動物の文脈でのみだからです。
他の何かは、すぐに一つの方法で問題があります。しかし、それはさておき、非具現化された何かを想像できると仮定しましょう。現代の大規模言語モデルは、それをもっと真剣に考え始めさせるかもしれません。
そこで、具現化は何を与えてくれるのでしょうか?私の考えでは、特に人間の認知能力を複製する非具現化されたものを構築することが困難な理由は何でしょうか?
これは開かれた反駁の可能性がありますが、私の答えは、世界との具現化された相互作用が、物理的世界の因果的微細構造を学ぶことを可能にするからです。因果的微細構造は、物理的オブジェクトとそれらの相互作用、液体や気体などの物理的物質、重力などに関するものです。
私が基礎的な常識と呼んでいるものを獲得することを可能にします。日常の物理的世界との相互作用によって、その特定の因果的微細構造を持つ基礎的な常識を獲得できるのです。その一部は、日常の物理的世界が持つこの滑らかさの特性に関係しています。これは本当に重要です。
物理的な観点から言えば、一つの場所が次の場所とよく似ており、その次の場所ともよく似ているという表面でいっぱいだということです。私たちの視覚野も、少し動いても非常に似ています。
現実、あるいは日常の物理的世界には、この基本的な滑らかさの特性がありますが、それはすべての不連続性によって中断されています。これがその基本的な構造です。この滑らかさを背景に、すべての不連続性があり、そしてこれらすべてが自身と相互作用する一種の法則的で規則的な方法があります。
表面が相互作用し、物事が進んでいきます。私たちの基礎的な常識のすべて、例えば経路、サポート、包含などの基本的なことに関するものは、私たちの概念的フレームワークの基礎を成すものだと思いますが、それらはすべてそのような方法で根付いています。
これは非常に興味深いですね。あなたの基本的な議論は、知識獲得の効率性が物理的具現化の理由だということですね。
はい、それはそう言う合理的な方法だと思います。
はい。しかし、それは原理的というよりも経験的な議論ですね。
そうですね、しかしサンプル効率性のためです。
しかし、私が聞いているのは、旧マレー・シャナハンのエコーです。明らかに、あなたはシンボリックAIでキャリアを始めました。これらは時々、合理主義的な生得主義の観点から行われた議論でした。
彼らは、包含テンプレートがただ私たちに組み込まれており、私たちはそれを理解していると主張するでしょう。しかし、経験主義者として、私はこれに非常に好意的ですが、物理的世界が実際に抽象化を学ぶのを助けると主張できます。なぜなら、私たちは常に物を容器に入れているからです。
はい、そうですね。知識獲得の効率性があり、それは物理的な世界に位置づけられているときに劇的に増加します。
はい、その通りです。人間や他の動物について話しているなら、それは大まかに正しいと思います。
あなたが言ったように、私たちはこの世界との相互作用を通じてこれらの基礎的な概念を獲得します。そして、この方法で獲得できる基礎的な常識概念のレパートリーは非常に生産的です。なぜなら、私たちはこれらの基本的なアイデアを使って非常に多くのことを概念化できるからです。
私はジョージ・レイコフの仕事の大ファンです。1980年代の彼の古典的な本「メタファーで生きる」は絶対的に素晴らしいものです。そして、私は彼の直感に深く正しいものがあると今でも思っています。
人間の場合、日常の世界との具現化された相互作用を通じて、表面、容器、経路などを含む基礎的な常識のこの層を獲得します。そして、最も抽象的なレベルでは、例えば大規模言語モデルについて理解するときに、同じ基本的な概念のレパートリーを適用します。
大規模言語モデルに関する論文を見ると、人々は層やつながりなどについて話しています。これらはすべて非常に物理的な概念に基づいています。
はい、私もジョージ・レイコフの大ファンです。彼は戦争のメタファーについて話しましたね。「長い道のりだった」といったような表現です。旅のメタファーなど、本当に美しいですね。
しかし、言語モデルが学ぶ知識の多くは一種の文化的知識です。私たちはこれらのシミュレーションポインタを共有し、それはかなり相対的です。
また、一部の合理主義者は、経験的な経験から普遍的な知識に到達することは不可能だと主張し、自然知識と文化的知識の間に分裂があると考えています。あなたと私は、推移性や包含性などの多くの自然知識、この種の合理性が現時点では欠けていることに同意すると思います。しかし、具現化された科学者として、あなたは私たちがそれらを物理的世界に具現化されることで学ぶと信じていますか?
そうですね、人間と人間の認知的構造、そして他の動物についての経験的な質問と、AIで構築できるものについての質問を区別する必要があります。
人間の認知がある特定の方法で生じた可能性があり、人間の認知がどのように機能するかは経験的な問題です。AIを人工的な方法で構築するとき、いわば「破る」ことができるかもしれません。
推移性のような何かの場合、これは明らかに哲学における合理主義者と観念論者の間の古典的な議論です。17世紀、18世紀にさかのぼります。カントは、これら二つの対立するものを調和させることでこれを解決したとされています。
カント的な議論は、世界を理解するために心の中にある程度の生得的な構造がなければならないというものです。進化が私たちに特定の基本的なテンプレートを与えたかもしれません。言語をサポートする同じ機械の中に推移性のようなものがあるかもしれません。
これらはすべて経験的な質問であり、これらのことについての最新の研究は知りませんが、それは合理的な立場だと思います。
しかし、進化さえも一種の経験的なプロセスです。それがどこから来るのかという疑問は常にあります。
はい、そうですね。カントは超越論的観念論者でしたね。これは私たちの友人フランソワ・ショレと弧の挑戦につながります。彼は、知能はこれらのメタ学習プライアについてのものだと主張しています。普遍的な、時には人間的な知識と、非常に迅速にスキルプログラムを開発し、非常によく一般化する能力との間の変換率についてです。
弧の挑戦は、これらのプライアをどのようにコード化し、これらのプライアを組み合わせてスキルプログラムを効率的に構築するかについてのものです。これは現在、私たちが構築しているAIの種類とはかなり離れているように見えます。
そうですね、生成AIを構築している今日のAIでは、フランソワが言及しているような種類のメカニズムを、魔法のような出現と規模を通じて得ない限りそうです。もちろん、人々は常にそれが可能かもしれないと示唆しています。理論的には、規模を通じてどんなメカニズムも出現する可能性があります。
実際、次のトークン予測という目標だけで、学習と規模を通じて開発された出現的メカニズムがいかに強力であるかに驚かされてきました。それは非常に驚くべきことでした。
しかし、私は、そしておそらくフランソワもそうだと思いますが、弧の挑戦にあるような種類の抽象的な問題を解決する能力を、この種の方法で本当に得られるかどうかについては少し懐疑的です。
私は開かれた心を持っています。誰にもわかりません。特に、物事をマルチモーダルにし、生成モデルを世界との相互作用を持つ設定に拡張すれば、誰にもわかりません。しかし、私の感覚では、おそらくその方法では完全には行けないだろうということです。
そのため、おそらく彼の直感である、何か生得的なもの、あるいは生得的という言葉が間違っているかもしれませんが、何らかのプライアが必要だという考えに多くの共感を持っています。それらのプライアがどこから来るのかはわかりませんが、人間の場合を考えると、私が訴えるプライアはこの基礎的な常識に関連しています。
オブジェクトの概念だけでも、オブジェクトと動きの明確な概念、オブジェクトの持続性があれば、すぐにそれらの弧の挑戦問題の多くに役立ちます。なぜなら、そのうちの多くは、一つを解決してその仕組みを説明すると、「ああ、これらのピクセルの集まりを特定のルールに従って別の場所に移動するオブジェクトとして考える必要がある」というようなものだからです。
私の同僚のRichard Evansは、一種の abduction のようなプロセスを使ってこれらの種類のことに取り組む非常に良い論文を書きました。彼はこれについてシンボリックAIの観点からかなり考えています。
それは fascinating ですね。弧の挑戦でも、人々が考え出した解決策の種類は、例えばある特定のプリミティブのセットに対するDSLなどです。弧の挑戦は2Dグリッドで、異なる色のセルがあり、うまく機能するプライアの種類は、ノイズ除去や反射、さまざまな種類のものです。
それは素晴らしいのですが、非常にドメイン固有です。エリクサーが本当に欲しいのは、これらの普遍的なプライアです。Elizabeth Spelkeが指摘するように、私たちは確かに人間のプライア、例えばエージェントの概念や空間推論の概念、持続的なオブジェクトの概念などを持っています。
はい、その通りです。しかし、私が興味深いと思う質問は、本当に普遍的なプライアについて話すことに意味があるのかということです。なぜなら、これらの弧の挑戦の問題の一つを解決するたびに、典型的には実際にはかなり人間的なプライアと常識の概念のセットを適用しているからです。
完全に法則的な弧のような問題のセットを想像することはできるかもしれませんが、私たちが理解するのに苦労するようなプライアに訴えるような解決策を持っているかもしれません。
例えば、何かをオブジェクトとして考えるとき、私たちはピクセルがある程度まとまっていることを望みます。ピクセルを他のピクセルの中にランダムに分散させて、体系的な方法で動かすと、私たちはそれを見分けることができるかもしれませんが、できないかもしれません。それは、人間のプライアを持っているために、オブジェクトとして見ることができないからです。
彼が設計したすべての問題について、隠されたセットが何なのかはわかりませんが、私はそれらのほとんどすべてが、私が言及した基礎的な常識の種類に訴える、人間が理解可能なプライアを使用していると想像します。
私も普遍的なプライアがあるはずだと確信しています。量子場理論では、物理学者は局所性やスパース性、本当に高レベルのもの、オブジェクトなどを使用します。しかし、量子力学はオブジェクトの概念自体に挑戦しています。
あなたにとって、システムが意識を持っているかのようなスタンスを採用することと、それが事実の問題であることの間の違いは何ですか?
私はその区別自体にやや抵抗があります。しかし、これは非常に難しい立場を維持することです。なぜなら、私たち自身の意識について事実の問題があるという非常に強い直感を持っているからです。その非常に基本的な直感から逃れるのは非常に難しいです。
しかし、私はこれらの種類の質問に対する全体的なアプローチを持っています。本当に私を動機づけた質問は、完全に異質な人工物に遭遇したとき、その人工物の中で意識が起こっているかもしれないが、私たちは決してそれを知ることができないかもしれないというものでした。
あなたの研究室の前に白い立方体が置かれ、それを穴に投げ捨てて忘れてしまうことが倫理的かどうかという問題を課せられたとします。
私のこれらの問題へのアプローチは、何かが意識を持っているかどうかという質問に答えることができるようになるためには、潜在的に意識を持つ存在との遭遇をエンジニアリングする必要があるということです。
つまり、その潜在的に意識を持つ存在と世界を共有できる立場に自分を置く必要があります。良い例はタコです。ピーター・ゴッドフリー・スミスは、タコと一緒に過ごし、彼らと一緒にいることがどのようなものかについて素晴らしい本を書いています。
彼は潜水服を着て水中に入り、タコと同じ物事と相互作用しながら、同じ世界の中で時間を過ごさなければなりませんでした。そして、その基礎と観察された行動に基づいて、彼は同じ意識を持つ生き物として扱い始めるかもしれません。
同様に、私が思うに、私たちが必要なのは、非常に異質な人工物であっても、そのような遭遇をエンジニアリングすることです。例えば、その白い立方体の中で計算が行われていることを科学者が発見し、その計算を逆エンジニアリングして、世界と相互作用するものの間に一種の分割があることを見つけたとします。
そこには一種のシミュレートされた世界があり、その環境と相互作用するものがあります。そして、あなたは巧妙なエンジニアリングの技術によって、まさにその同じ世界に自分自身を挿入し、その環境と相互作用するものたちと一緒にいることができるかもしれません。
明らかに、これをゲーム環境や仮想世界、ゲーム環境のようなものとしてセットアップしていますが、思考実験を機能させるためです。これは、立方体の中にあるものとの遭遇をエンジニアリングできる例です。そして、その行動を観察し、それらと相互作用することで、同じ意識を持つ生き物として扱うかどうかを決定できます。
これには二つのステップがあります。少なくとも原則として遭遇をエンジニアリングできるかどうかが質問に答えられるようにし、そして実際に遭遇を持ち、それらと相互作用することで質問に答えることができます。
ちなみに、ここですべてが公開されていることに注目します。主観性の私的な領域はありません。すべてが公開されており、公開された物事に基づいて、それらを同じ意識を持つ生き物として見るかどうかを決定します。
それについていくつかのことがあります。あなたが意識のエキゾチカで指摘したように、タコは人間ほど人間らしくないにもかかわらず、あなたが引用したように、より意識があると見なされます。
私たちが意識を理解する方法、そしてこれは私があなたの言葉を少し解釈しているのですが、言語ゲームを設定することです。ニック・チェイターとモーテン・クリステンセンの本を読んだことがありますか? それは美しい本です。
その本は知っていますが、残念ながら読んでいません。
それは素晴らしい本です。基本的に、ウィトゲンシュタインに倣って、あなたは言語ゲームをプレイし、同じ環境を物理的に共有しているので、即興で意味を導き出すと彼らは言っています。意味は関係性にとって非常に重要で、そしてそれから私たちはその種のプロセスに意識を帰属させます。
あなたは実際にピーター・シンガーを引用しました。彼は1975年に、私たちには意識があると考える存在に道徳的地位を帰属させる自然な傾向があると言いました。
はい、その通りです。
タコの文脈では、言語ゲームはありません。タコは言語を使用する仲間ではないので、タコと言語ゲームに従事することはできません。しかし、あなたのコミュニティの他の人々、つまりタコについて話す他の人々とは言語ゲームに従事します。タコについて一緒に話し、希望的にはタコについて意識という観点から話すべきかどうかについて何らかのコンセンサスに達するでしょう。
これはすべて、タコの行動を観察したり、他の人々のタコとの経験談を聞いたり、そして決定的には、科学者がタコの脳の内部を調べたり行動実験を行ったりして発見したことを聞くことに関係します。これらはすべて再び公開されており、これらの奇妙な生き物について話す方法を決定するための素材となります。
はい、言語ゲームには2つの部分があります。まず、言語ゲームは必ずしも話し言葉である必要はありません。それは任意の種類の即興です。ジェスチャーかもしれませんし、単なる行動かもしれません。
そして、タコとの興味深い点は、私たちが対話的に相互作用していなくても、非対話的に彼らがお互いに相互作用しているエージェントとして観察することができるということです。彼ら自身の言語ゲームをプレイしているのを見ることができます。それでも、私たちは何らかの尺度を帰属させることができます。
実際、私が測定していると思うのはエージェンシーです。エージェンシーと道徳的地位はほぼ1対1の関係にあると思います。彼らが言語ゲームをプレイしているのを見ると、私たちは彼らをエージェントとして考え始め、そのため彼らは道徳的地位を持つのです。
はい、行動を観察することで、同様に他の生き物に意識を帰属させ始めるかもしれません。それは常に、単に観察するよりも対話的であればより説得力があると思います。
マレーは、生き物の脳が私たちのものと似ているなら、その内的生活、意識も私たちのものと似ているだろうと考える根拠があると言いました。彼は続けて、もし何かが私たちとは非常に異なる方法で、異なるアーキテクチャで、異なる基盤上に構築されているなら、その行動がいかに人間らしくても、その意識は私たちのものとは非常に異なる可能性があると言いました。おそらくそれは、全く意識を持たない現象学的ゾンビかもしれません。
マレーは意識のエキゾチカで、哲学をするときにのみ、私たちは意識、経験、感覚を私的な主観性の観点から考え始めると言いました。彼はデイビッド・チャーマーズと、彼の意識の難しい問題と簡単な問題の区別を引用しました。これは、彼の言葉を使えば、内部と外部の間の一種の重要な区別です。つまり、二元論の一形態です。
ウィトゲンシュタインは、この考え方への解毒剤を提供しました。彼の私的言語に関する考察の中心は、経験について話せる限り、それらは外部の公的な現れを持たなければならないという効果を持つ議論です。ウィトゲンシュタインにとって、生きている人間、あるいは生きている人間に似たものや行動するものについてのみ、それが感覚を持っている、見ている、意識がある、あるいは無意識であると言うことができます。
しかし、これは単なる行動主義ではないでしょうか? 行動主義、特にB.F.スキナーが主張した急進的な形態では、すべての心理学的現象は、内的な精神状態に頼ることなく、観察可能な行動と環境刺激の観点から説明できると主張します。しかし、行動主義は主観的な内的側面を無視しているとしばしば批判されます。
ウィトゲンシュタインは、話者にのみ知られる内的経験を指す純粋に私的な言語の概念に反対します。彼は、言語が意味を持つためには、公的にアクセス可能な基準に基づいていなければならないと主張します。
マレーが彼の記事で言ったように、ウィトゲンシュタインは二元論、あるいはいわゆる浸透不可能な主観的経験の領域に反対して議論しました。実際、彼は、AIに対する原則的な議論をする多くの人々が、我々の最近のゲストMariu Stefania Caterinaがしたように、主観性の議論に退却することが多いと言いました。
マレーは、ここでの困難は、根本的に不可解な意識の可能性を受け入れることが、意識が見えるようにオープンではなく、本質的に私的であるという二元論的な命題を再び認めているように見えることだと言いました。
はい、アーロン・スローマンはバーミンガム大学のコンピューターサイエンスと人工知能の教授です。彼は1984年の論文で「可能な心の空間」という概念を導入しました。その考え方は、私たちの宇宙に存在する可能性のある心の集合、存在する心の集合が、人間の心や人間プラス他の動物の心よりもはるかに大きいというものです。
それは、存在するかもしれない地球外生命や、いつか私たちが作るかもしれない人工知能を包含します。可能な心の全空間は、哲学的に言えば非常に豊かな対象であり、私たちの研究に値します。
ウィトゲンシュタインの私的言語論は、彼の死後に出版された「哲学探究」の中心部分です。この本は彼の哲学の後期の段階を本当に明確に表現しています。それはすべて、私的な感覚について、つまり純粋に主観的で個人としての私だけが理解し知ることができるものについて話すことができるという考えに関するものです。
「赤とは私にとって何か」というようなものです。私的言語に関する考察は、その概念自体を覆すものです。基本的な考え方は、彼が言うには、私的言語とは、私が発明し、単に私が発明したために誰も理解できない言語のことではありません。
それが私的言語である理由は、主観的に私だけがアクセスできるもの、つまり「赤が私にとってどのようなものか」について言及しているからです。それは、完全に内的なもの、私だけのものについての言葉を持つことができるという考えです。
彼は、日記をつけることを想像してみてくださいと言います。特定の経験をするたびに、その経験を記録するために日記にSと書きます。ある日、その経験をしていると思い、Sと書きます。数日後、再びその経験をしていると思い、再びSと書きます。
彼が問うのは、その言葉の正しさについてどのような可能な基準があり得るかということです。言葉が意味あるものになるのは、公的な設定で理解可能な場合、本当に他の人々に理解可能な場合だけです。完全に私的なものについて言及する限り、他の誰も検証できる正しさの基準はあり得ません。
そして、この小さな思考実験を設定した後、その含意を語る一連の考察があります。本当に重要な一つのフレーズがあります。ウィトゲンシュタインは常に想像上の対話者と対話しています。本の中で彼と議論している想像上の人物です。
彼はこの人物が「しかし、あなたは感覚自体が単なる無であると言っているのですか?あなたは一種の行動主義者ですか?それは無だと言っているのですか?」と言うのを想像しています。彼の答えは「私はそれが無だとは言っていません。また、それが何かだとも言っていません。要点は、何も言えない何かと同じくらい無が役立つということだけです。」
この少し逆説的に聞こえる、奇妙に聞こえる小さな声明は、非常に深遠なことを凝縮しています。私が初めて彼が何を言おうとしているのかを本当に理解したとき、それは意識、主観性、そして私の考え方に劇的な変化をもたらしました。
私の考えでは、これは二元論を覆す最も強力な方法です。デカルト以前からあり、デカルトによってよく表現された二元論的な直感を覆す最も強力な方法です。
私の多くの友人はウィトゲンシュタインのファンですが、彼らは同時に主観性のファンでもあります。あなたが先ほど言及したように、ウィトゲンシュタインが行ったのは、内部と外部の間にある種の障壁を作ることでした。
彼は、言語に昇格されるためには、この創発的な構造、私たちが擬似的に共有するすべてのこれらの言語構造は、観察可能なものからしか来ることができないと言いました。しかし、原則的には私的なものから来る可能性があることは考えられないように思えません。
例えば、薬物体験をするかもしれません。それは明らかに言葉で表現できませんが、何らかの意味的な重なりを持つものがあります。私は赤を経験し、あなたは赤を経験します。私たちは異なる経験をしますが、それについて話すとき、何らかの重なるカテゴリーが公共の場に現れます。
はい、確かにそうです。公共の場に現れるもの、それが私たちが話すことができるものです。そして、あなたが実験を設定した方法によると、それは定義上私的ではありません。それは公的です。
もちろん、私たちは両方とも何か赤いものを指さして、「ああ、見て、赤いですね」と言うことができます。あなたは「ああ、そうですね、美しいですね」と言うかもしれません。明らかに、私たちがお互いに話し、コミュニケーションを取り、同意している限り、それは確かに公的な要素です。
しかし、私たちは共有シミュレーションのポインタとしての言語を共有しているのではないでしょうか? 私たちが話すとき、私たちのシミュレーションは異なりますが、ポインタは私たちのシミュレーションの上にある種のカテゴリーを形成しているのではないでしょうか?
そこでは、多くの新しい用語を導入しましたね。共有シミュレーションなどの言葉が何を正確に意味するのかわかりません。哲学的な議論の文脈では、新しい用語を導入し始めると、しばしばそれが間違いの始まりです。
技術的な議論では、もちろん常に新しい用語を導入します。しかし、これは言語を休暇に連れ出し、その通常の使用から離れさせ始める瞬間です。共有シミュレーションとは何を意味するのかわかりません。その考えについてもう少し説明してもらえれば、それに取り組むことができるでしょう。
そうですね、私はカール・フリストンのようなこの世界の人々に学びました。ベイジアン脳や知覚を推論として捉える考え方があります。基本的な考えは、私たちの日常の経験は幻覚だということです。私たちが経験するものは必ずしも外部にあるものではありません。
言語はこれらのシミュレーションへの一種のポインタです。それらは必然的に発散しているはずです。おそらく発散していますが、奇跡的に私たちはお互いを理解できます。
そうですね、ヴィトゲンシュタイン的な見方では、私たちはお互いを理解している限りにおいて、共有されているものを理解しているのです。定義上、それ以外のものについては話すことができません。
しかし、難しいのは、共有されていないものがあるかのように話す強い傾向があることです。本当に私を魅了するのは、理解は二項対立ではなく、スペクトルがあるということです。私たちは自分が理解しているものを過大評価して自分を欺いています。なぜなら、それは主観性の領域に入るからです。
何かを理解していると言うとき、私の脳はこのすべての豊かな主観的経験を呼び起こしており、おそらく私の理解をあなたが理解した以上の領域に持っていっています。おそらく、これは私たちが常に意図的に行っていることです。
では、「私の脳がこのすべての主観的経験を呼び起こしている」と正確に何を意味しているのですか? 何を言おうとしているのですか?
そうですね、私たちは言語ゲームが公的な情報に基づいていると言いましたが、理解には文化的なレベル、最小公倍数のようなものがあります。しかし、文化的な人工物を理解するとき、私たちは自分自身の主観的経験をさらに呼び起こします。
例えば、私が笑うとき、私は笑いの経験、この現象的な経験を持ちます。これは明らかに理解の一形態、主観的な形態の理解です。そして誰かが笑うとき、私はこの存在論を共有していると感じます。私たちはそれを共有していますが、実際には共有できないはずです。
そこで、あなたはすぐにたくさんの奇妙な言葉を導入しています。日常的な経験、つまり一緒に笑うことについて、何の困難もなく、哲学的な問題を引き起こすことなく話すことができます。「私たちは両方ともその冗談を聞いて、笑い転げました。とても面白かったです」と言うことができます。日常的な用語でそれについて話すことができ、そこには問題はありません。
しかし、哲学的になり始め、主観的な存在論についてなど、このような種類の技術的な用語を使い始めると、それは私たちの日常的な話し方の上に全く新しい混乱の層を追加することになります。これらは問題のない話し方なのです。
しかし、そこには人間中心的なレンズがあります。あなたは人間で、私たちは両方とも笑います。笑うという行動は公に観察可能です。だから、私たちは同じ経験を持っているはずだと。
それは「理解する」という言葉の意味に依存します。確かに、「男性だからあなたは出産がどのようなものかを決して理解できないでしょう」というような言い方は、かなり一般的な表現です。これはもちろん、表現の正常な方法です。ある意味では、それは疑いなく真実です。
しかし、問題が発生するのは、この理解の違いの背後にあるもの、あるいはその話し方の背後にあるものが、残りの現実から形而上学的に区別される何らかの内的な私的な領域であると考え始めるときです。
私たちがこれらのポインタやシンボル、あるいは何であれを共有するとき、構造はまだ現れます。私たちはまだ共通の理解を持っていると感じ、その理解はおそらく公的な要素と私的な要素に分解できます。これを言うのはそれほど奇妙なことではないと思います。
あなたは「私的な要素」という言葉をどういう意味で使っているのかに非常に注意する必要があります。もし本当に形而上学的にアクセス不可能な私的で主観的なものを意味しているなら、そのように物事を公的な要素と私的な要素に分割することは適切ではないと思います。
そこが物事が間違い始める場所です。さらに、あなたは二元論者ではないと主張していますが、その分割をしたいという傾向は、あなたに二元論的な傾向があることを示していると思います。私たちは皆そうです。
二元論者ではないと主張している人々は、私たち全員の中にあるこの小さな二元論の種を否定しているのです。それは私たちの思考方法の一部であり、哲学を始めるときに自然に行く方向の一部です。
「私は物質主義者で、二元論者ではない」と言うのは十分かもしれません。しかし、プローブし始め、これらのことが引き起こす当惑を発見し始めると、そこに潜在的な二元論が露呈します。
その潜在的な二元論を克服すること、それがヴィトゲンシュタインが直面する本当の挑戦です。
私はその挑戦が大好きです。私の見方では、階段があります。一番上には言葉で表現できない経験があり、その一つ下には概念化できない経験があります。これはネーゲルの議論です。そして、本当に階段を下っていくと、形而上学的な二元論に行き着きます。
私はおそらく最初のステップと2番目のステップの間のどこかにいます。特定の種類の経験をしたとき、単に言葉が見つからず、あなたに伝えることができないと思います。しかし、もし私の脳にプローブを入れたり何かをしたりすれば、それを測定する方法がある可能性は十分にあると確信しています。
はい、これは本当に重要です。私にとって、公的なものとは単なる行動だけではありません。科学者として私たちが発見できるものも含まれます。つまり、人々の脳をつついたり、EEG記録やfMRI記録を行ったり、他に想像できるようなことをしたりして、私が科学者としてそれを見ることができ、あなたが科学者として、そして私たちの仲間の科学者たちがそれを見ることができれば、それも公的な領域に含まれます。
この哲学的な議論の目的のために、それはすべて公的な領域にあります。形而上学的に隠されているわけではありません。そしてそのすべてが、意識について私たちがどのように話すかに影響を与えることができます。特に、エキゾチックな存在について話すとき、それらすべてが、私たちがそれらに遭遇したときの言語の適応の仕方に影響を与えることができます。
はい、主観性によって人々が意味するものを分解することは fascinating だと思います。もちろん、デイビッド・チャーマーズのような人々は、少し余分なものがあると主張します。つまり、行動、機能、力学があり、そしてそれに加えて、科学的に観察可能ではない小さな余分なものがあるというのです。
私は、多くの人々が主観性について話すとき、彼らはその小さな余分なものについて話しているのではないと思います。しかし、その小さな余分なものに到達したとき、私はあなたに完全に同意します。そこに大きな問題があります。
はい、私たちは大きな問題を抱えています。なぜなら、私たちの自然な二元論的な傾向のために、私が痛みを経験するとき、それについて純粋に私だけのもの、外の世界や他の人々が決して本当に経験できないものがあると考えるのはとても難しいからです。
しかし、そう考えることが、間違いを犯す瞬間なのです。それは自然な道筋であり、避けるのは本当に難しいです。そこで、ヴィトゲンシュタインの考察が重要になります。彼らは、あなたの全ての考え方を再方向付けしようとする方法を提供します。
もし本当にそれらを把握すれば、あなたの全ての世界観が反転します。この全ての話し方と考え方が間違っているように見えるようになります。
非常に多くの場合、戦略は誰かがあなたにこの考えを投げかけたときです。あなたは私にさまざまな考えを投げかけてきました。そして、多くの場合、それらの考えの枠組み方に問題が埋め込まれています。
問題は、それらの考えの表現そのものにあります。一歩下がって、「待ってください、あなたはこの奇妙な言葉を導入しました。この奇妙な表現方法を導入しました」と言う必要があります。そこが手品のトリックが起こる場所です。あなたが気づかない点です。
ヴィトゲンシュタインはこのフレーズを持っています。そこが手品のトリックが起こる場所だと。だから、多くの場合、一歩下がって、「待ってください、あなたが突然導入したその話し方を受け入れません。それは哲学的な庭の小道を下っていくものです」と言う必要があります。
はい、私は完全に同意します。これは二元論の一形態です。私たちがその小さな余分なものに頼るときです。そして、これは実際に私にとって興味深いことです。チャーマーズのような人々は、彼は二元論者という言葉が好きではないと思いますが、彼は財産二元論者だと思います。
しかし、彼は哲学的ゾンビについて話します。これは思考実験で、私たちのすべての行動を持っているが、意識経験が欠けているものです。これは、それがほとんど一種の副現象であるという考えを生み出します。それは何も影響を与えていないのに、何をしているのかと問うことになります。
あなたの「意識のエキゾチカ」の記事を読んだとき、実際に似たような考えを持ちました。なぜなら、あなたは人間らしさと意識の間の線形相関を示し、そして例えばAlphaGoのようなアルゴリズムの例を挙げ、それらは意識を必要としないと言いました。これもまた、意識の現金価値は何かという疑問を提起します。
私たちが「意識」という言葉を使うとき、多くの場合、特定の行動や行動傾向の文脈で使用しています。それを他の人間や他の動物の文脈で使用します。
まず、「意識」という言葉は実際に多面的な概念で、多くのことを示唆しています。それが示唆している一つのことは、日常の世界に柔軟に対処する能力です。
「椅子に気づかなかったから、ぶつかってしまった」とか、「そこにデスクがあることに気づかなかった。開けたら中に何か面白いものがあったかもしれない」というように話します。
私たちは世界への気づきについて話し、同時に意識の一側面について話しています。そして、全ての行動的な傾向や能力について話しています。これらのことは、私たちの日常の話の中で非常に関連しています。
そこで疑問が生じます。これらは分離可能でしょうか? ここで非常に重要なのは、私は意識が発見されるべき形而上学的なものだとは思っていないということです。それは単に、私たちが世界とその中での私たちの場所、そしてお互いを記述するために発明し使用する概念であり、言葉です。
そこで、疑問は、一つの概念を使いたいが他の概念は使いたくないようなものを作ったり想像したりできるかということになります。それが問題の本質です。
AlphaGoのような何かの場合、そこには一種の認知が起こっていると、私たちは皆ある程度同意していると思います。そこには一種の推論が行われています。AlphaGoには確かに多くの賢さがあります。ある種の知性があります。第37手のことを考えると、ある種の創造性さえあります。
私たちはそれらの言葉をすべて使う意志がありますが、誰もAlphaGoが意識を持っていると示唆することはありません。そこで、特定の条件下では概念が分離可能であることがわかります。
それにもかかわらず、両者の間には強い関係があります。なぜなら、動物について考えるとき、私たちはしばしば、彼らの洗練された行動に現れる認知能力を、意識の観点から彼らについて話すかどうかの代用として使うからです。
したがって、私たちの使用法では、時にはこれらのものを一緒にまとめ、時には一緒にまとめません。しかし、これはすべて言語がどのように有用に展開されるかという実践的な問題であり、意識という言葉が示す何らかの形而上学的な実体を発見することについてではありません。
デミスは最近、創造性の階段について話しました。もちろん、第37手の革新的な創造性が議論されました。しかし、ダニエル・デネット（安らかに眠れ）は、私は彼をポッドキャストに出演させることができて本当に嬉しかったのですが、彼は私の大きなヒーローの一人で、あなたのヒーローでもあると思います。
絶対にそうです。
彼は「志向的姿勢」という用語を作りました。興味深いのは、彼はそれを合理的なエージェントを指定するために使用していましたが、実際にはそれは過負荷になっていて、私も罪を犯しています。意識のようなものにも使用されます。おそらく、それは認知の相関物のためです。これらのことは非常に密接に関連しています。
あなた自身の表現で、志向的姿勢について説明していただけますか?
そうですね、ダン・デネットが話していたすべてを受け入れることなく、志向的姿勢の概念を使用し展開することができると思います。彼にとっては、それを取り巻く大きな哲学的立場全体がありますが、デンから取り出せる志向的姿勢の非常に単純な意味があります。
それは単に、日常的な用語で、人工物や他の動物について、彼らが信じていることと欲していることに基づいて行動する合理的なエージェントであるかのように話すということです。
そのような方法で話すことで、彼らが本当に何かを信じたり欲したりしているかどうかにかかわらず（「本当に」が何を意味するにせよ）、その行動を説明し理解するのに役立ちます。
例えば、ダン・デネット自身の例を使うと、チェスコンピューター、チェスプログラム、あるいは囲碁プログラムに対して志向的姿勢を取り、「クイーンを前進させたのは、私のルークをピン留めしようとしているからだ」と言うかもしれません。
これは自然な話し方であり、あらゆる面で良いものです。なぜなら、私たちはこの話し方を使って、機械が何をしているかを互いに議論し、説明し、予測することができるからです。
これが志向的姿勢を取るということであり、必ずしもこれらの概念が文字通り適用可能だという信念を伴うわけではありません。おそらくそうかもしれませんし、そうでないかもしれません。
しかし、ここで興味深くなります。実際、私はダンと議論したときに帰納について議論しました。それは非常に密接に関連しています。あなたは長年推論を研究してきましたね。
私が言う方法は、志向的姿勢を取るとき、私たちは実際にエンティティの行動を記述するための変数のセットを構築しているということです。
あなたはちょうどヴィトゲンシュタインのレンズを通して、行動が唯一のものだという議論をしていました。
いいえ、いいえ、私はそうは言っていません。行動が唯一のものだとは全く思っていません。確かに、心理学的用語を展開するとき、行動が唯一のものを決定するとは全く思っていません。
はい、その通りです。まだ大量の曖昧さがあります。帰納を行うとき、私たちは仮説を作り、無限のセットの可能な仮説から選択しています。しかし、行動がすべての情報を与えてくれます。
正しい説明を作成する方法を知っていれば、行動を観察するだけで何も欠けていないようなものです。私たちは今、機械について話しているのか、動物について話しているのか、何について話しているのでしょうか?
私は両方に適用できると思います。第37手に対して志向的姿勢を取り、エージェントがこの意図を持っていたと言うことができます。私はこの帰納を行い、エージェントがこの意図を持ち、この一連のステップを取ったという計画を構築します。
私は志向的姿勢を採用し、それを行動を説明するための仮説として使用しています。しかし、それはまだ非常に曖昧です。なぜなら、私は無限のセットの可能な仮説から選択しているからです。
そうですね。しかし、その特定のケースでは、それはまったく正しい考え方ではないでしょう。なぜなら、人間がこれらのゲームをプレイするときとは異なり、しばしば計画を立てるからです。チェスをプレイしているなら、「このエリアを占領しよう」「ボードのこのエリアを支配しよう」などの計画を立てることがあります。そのために、これらの駒をあちこち動かそうと計画を立てるかもしれません。数手先まで計画を立てることもあります。
しかし、典型的にはそれはAlphaGoの働き方ではありません。計画について話すのは本当に正しい方法ではありません。
実際、興味深いのは、志向的姿勢は依然として機能するかもしれませんが、何かが計画を立てていると話すのは本当に正しくないということです。
はい、そうですね。主観性について話すとき、私は形而上学的な二元論について話しているわけではありません。しかし、志向的姿勢は明らかに一種の主観性の形態です。そして、多様なエージェントの集合として、私たち自身の志向的姿勢を形成するとき、それは非常にカオス的で奇妙で素晴らしいものに見えるはずです。しかし、それは機能しているように見えます。
ところで、ここで興味深いのは、私たちがエージェンシーと有罪性を確認する方法が志向的姿勢に基づいているということです。オーストラリアで誰かが刺されたというニュース記事を読むと、その記事は合理的な説明を与えようとします。「彼はカルトに入っていたから」とか「彼は宗教的だったから」など。これは、私たちがたった今起こったことに道徳的価値を割り当てるのに役立ちます。
はい、その通りです。あなたは「志向的姿勢を取ることは一種の主観性の形態だ」と言いましたね。
そうですね、私はそのように言いませんでした。あなたが正確に何を意味しているのかわかりません。しかし、志向的姿勢を取ることは、単に何かの行動を記述するための特定の用語法と語彙を採用することだと思います。そこに主観性を持ち込む必要はまったくありません。
そうですね、おそらく私たちは「主観性」という言葉の2つの全く異なる意味を混同しています。これは非常に注意深くなければならないことです。あなたが主観性と言うとき、異なる仮説の間で自分自身の選択をしたという意味だと思います。それが主観的だということですか?
はい、そうです。観察者として、私は確率的推論のようなものを行い、私にとって最も合理的で理にかなった説明はこれだと考えます。それが私にとってのものです。それがあなたが主観性に言及している理由です。
はい、わかりました。そうですね、「私にとって」というのは、私たちが以前話していた主観性のトピックとは非常に異なる意味だと思います。私が選択をし、それが私の好みだと言うことに、哲学的に問題があるとは思いません。そう、それは単に主観的だと誰かが言うかもしれません。そこには哲学的に問題のあるものは何もありません。
しかし、以前は大文字のSで始まる主観性について話していました。そこでは、ある種の形而上学的なものを示唆し、二元論の問題が浮上します。これは非常に異なる種類のものです。
そうですね、この会話の残りの部分では、大文字のSの主観性は二元論を指し、小文字のsの主観性は「私にとって」を意味するということにしましょう。
はい、そうしましょう。
人間化の危険性について教えてください。
はい、特に現代の人工知能の文脈では、人間化の危険性は、大規模言語モデル、つまりチャットボットのようなシステムが持っていない能力を持っていると考えることだと思います。それは本当に単純なことです。
また、実際には持っている能力がないと考えることもあります。両方の場合で間違える可能性があります。非常に人間らしい言語行動を示すため、私たちは一般的に、遭遇するすべての他の行動でも非常に人間らしいだろうと仮定してしまうかもしれません。
しかし、そうではないことがよくあります。ある瞬間には、子供でさえ犯さないような馬鹿げた間違いをし、次の瞬間には哲学的に非常に深遠なことを言ったり、非常に難しい科学的な記事を非常に正確に要約したりするかもしれません。
これらは一種の超人的な力のようなものです。4つの異なる言語に一度に翻訳するなど、ある意味で人間以上の能力を持っています。
しかし、現代のモデルは明らかに他の面では非常に欠陥があります。あらゆる種類の愚かな間違いをし、作り話をし、推論の誤りを犯し、一般的に愚かなことを言うことがあります。
これらは、ある程度の交流に基づいて「ああ、これは人間と同じだ」と考えてしまう例です。多くの方法で誤解する可能性があります。これが一つの側面です。
人間化にはほかの側面もあります。これは単にその認知能力に関してだけでなく、共感があるところに本当の共感がない場合、信頼の基礎がないところに信頼してしまう可能性があります。これも問題です。
人々がAIコンパニオンやソーシャルAIと関係を形成し、人間にある感情の基礎があるかのように自分自身を欺く可能性があります。現代のAIにはそれがありません。信頼、友情、共感などに関連するこれらのことすべてが、私たちが人間らしすぎると見なしてしまう例だと思います。
人間化の問題の一つは、人々が存在しないところに精神的内容を帰属させることだと思います。私は、あなたが文字通りの人間化について話していると思います。つまり、存在しないところに人間らしい性質を見ることです。
私の理解が正しければ、あなたは現在の大規模言語モデルは推論しない、信念を形成しない、理解しないと言っているように聞こえます。
いいえ、私はそこまで言っていません。それはもっと広範な主張です。私はそこまで言うかどうかわかりません。むしろ、私のアプローチは、これらの用語を使用することに非常に慎重であるべきだということです。
これらは全て、現在のチャットボットや会話AIが何をしているかを記述するために志向的姿勢を取る例になるでしょう。それは多くの場合、完全に合理的です。
私は決して「彼らは理解していない」というような一般的な主張はしません。そうではなく、時には「ああ、この長い核物理学の記事をよく理解しているように見えます。本当によく要約しました」と言うのが適切な場合もあります。誰かがその表現を使ったとしても、間違っているとは言えないと思います。
しかし、別の機会には、例えば人々がこの古典的なヤギ、キャベツ、狐の問題を提示しています。ボートがあり、川を渡る必要がありますが、一度に2つ以上のものをボートに乗せることはできず、ヤギをキャベツと一緒にしておくことはできません。これは小さなパズルで、何度も往復して多くのトリックを使う必要があります。
人々がこれをいくつかの大規模言語モデルに提示し、「ボートとキャベツがあり、キャベツを川の向こう側に運ぶ必要があります。どうすればいいですか?」と聞きました。すると、いくつかのモデルが完全に奇妙な解決策を提案し始め、往復したり、時にはそこにいないヤギを発明したりします。これは、この古典的な問題に過剰適合したか、接続してしまったからです。
いいえ、子供でもこんな愚かな間違いはしません。そこであなたは「明らかに理解していない」と言うでしょう。そしてもちろん、その場合に「理解していない」と言うのは全く正しいです。
人間化は、私たちが理解するときに理解し、理解しないときに理解しないと考えることから生じます。実際には、時には私たちが理解するときに理解し、時には理解しないこともあります。それは全て混ざっているのです。
間違いは、それが私たちと同じだと考えることです。
そうですね、それは見事に説明されました。機械がどのように考えるか、そしてどこで間違いを犯すかの両方において、一致があると考えるのは間違いだということですね。
しかし、これを少し掘り下げてみましょう。志向的姿勢を取り、ものが正しく動作しているときでも、私たちとは異なる考え方をしているにもかかわらず、それは全く問題ないとおっしゃいました。これは絶対に正しいと思います。
しかし、私は理論的にこれらのことについて考えるのが大好きです。あなたと話すのは本当に楽しいです。なぜなら、あなたはシンボリックAIの背景を持っており、おそらくフォーダーとパイシンの接続主義批判の時代にいらっしゃったと思います。
今でも、言語モデルが否定をうまく扱えない明確な例がありますし、チューリングマシンではないことも知っています。言語モデルには、私たちが行える特定の種類の推論ができないという強い理論的な主張ができます。
特定の状況で彼らが理解していると言うのは合理的だと同意します。しかし、私が言いたいのは、言語モデルが私たちができる特定の種類の推論を行えないことに同意できますか?
そうですね、これらの概念を個別に扱う必要があると思います。先ほど理解について少し触れました。推論は全く別のものです。
これは全て、彼らが私たちとは違うからです。これらのことを個別に扱う必要があります。「ああ、彼らは理解しない、推論しない」とか、「彼らは理解する、推論する」とは言えません。そうではありません。各概念を別々に扱う必要があります。
推論の場合、明らかに今日の大規模言語モデルは、チャットインターフェースに入れただけでは、推論問題で非常に苦戦することがよくあります。これは一種のオープンな研究問題です。
人々は推論能力を向上させるために多くの進歩を遂げています。そこで正しいアプローチは何かは、オープンな研究課題です。おそらく、より多くのトレーニングデータを投入し、多くの推論問題を含め、最終的に十分な一般化が得られるかもしれません。それが完全に機能するかどうかは完全には明確ではありません。
あるいは、システムに外部呼び出しを埋め込むか含めることかもしれません。例えば、プランナーや何らかの外部推論システムへの呼び出しを行い、それを取り込んで、その種のよりシンボリックなアプローチを使用するハイブリッドなものを作るかもしれません。
または、DeepMindのTony Creswellとの私の仕事で導入した選択推論フレームワークのように、大規模言語モデルを一種の推論の一部を行うモジュールとして扱い、そのモジュールを呼び出す周囲のアルゴリズムを持つこともできます。一連の推論ステップを行うような一種のアルゴリズムです。外部アルゴリズムがあるわけです。
推論問題に取り組むには多くの方法がありますが、はい、基本的な大規模言語モデルを今日のままチャットインターフェースに入れただけでは、簡単に推論問題を見つけて行き詰まらせることができます。
私たちはそれに同意し、実際に私の共同ホストのKeith Dugarは、推論を「知識を導き出したり目標を達成したりするための効果的な計算を行うこと」と定義しています。彼はクロード・シャノンを引用しています。シャノンは「私たちは過去の知識を持っているかもしれないが、それを制御することはできない。私たちは未来を制御できるかもしれないが、それについての知識はない」と言いました。
科学は制御を活用して知識を得、エンジニアリングは知識を活用して制御を得ます。そして推論は両方における効果的な計算です。
おそらく、あなた自身の言葉で説明していただけますか? なぜなら、私たちは帰納の例を挙げることができますし、あなたは詳細に研究されてきました。現時点では、シンボリックAIの時代にツーリングマシンのアルゴリズムに任せたとしても、無限性があるためこれは扱いが難しい問題でした。そして今でも、簡単な答えがない問題がいくつかあるように思えます。
そうですね、あなたはフォーダーの種類の議論、帰納に関するフォーダーの種類の議論を示唆しているように感じます。しかし、よくわかりません。
私は、説明を探す帰納的問題の大きなコレクションを見つけることができ、今日の大規模言語モデルにそれらを提示すれば、かなりうまく処理できると思います。同時に、特に多くのステップを含む問題であれば、間違いを犯す問題を見つけるのは難しくないでしょう。
なぜなら、今日の大規模言語モデルは多段階のプロセス、つまりステップnがステップn-1に依存するような本質的に非常に計算的な種類のものに対して少し弱いからです。大規模言語モデルはそのような点で確かに弱いです。
思考の連鎖などを導入して、それを改善しようとすることはできますが、成功は限定的です。私の感覚では、これらは大規模言語モデル自体が本質的に強いものではなく、推論能力を高めるために他のツールを使用すべきだということです。
いくつか挙げましたが、推論コンポーネントへの外部呼び出しを行うこともあれば、大規模言語モデル自体に推論アルゴリズムを埋め込むこともあります。どちらの方法もできます。大規模言語モデルを取り、その中に推論的なものを入れて外部呼び出しを行うか、あるいはその逆で、推論アルゴリズムを持ち、大規模言語モデルをその推論アルゴリズムのコンポーネントにすることもできます。
はい、創造性と同様に、創造的または発明的な帰納と、日常的な予測的帰納があるのでしょう。驚くべきことは、私たちの世界がいかに構造化され予測可能であるか、そして日常的な予測的帰納でどれだけ遠くまで行けるかということです。
そうですね、日常的な種類の帰納について話すとき、それは街の人々が皆できるようなものです。少し奇妙な状況があって、「なぜこの男性が警官の帽子をかぶって道路の真ん中にいるのだろう?」というようなことを考えます。「おそらく事故があったからだ」などと言うかもしれません。
私たちは日常的にこの種のことを行っています。これがあなたが言う日常的な帰納だと思います。大規模言語モデルは今日、この種のことをかなりうまく処理できると思います。
しかし、人間でも苦労するような非常に複雑で多くのステップを含むものがあれば、大規模言語モデルもそのような問題で苦戦することがよくあります。
チューリングテストについて説明していただけますか?
はい、わかりました。チューリングテストを、一般的に考えられているように説明します。チューリングの元の論文にはニュアンスがありますが、彼自身はそれをチューリングテストと呼んでいませんでした。
一般的に考えられているチューリングテストには、人間の審判が関与します。人間の審判は2つのものと対話します。1つは人間で、もう1つはコンピューターシステムです。対話は完全に言語を通じて行われ、キーボードと画面を使用するか、チューリングの時代であればテレタイプを使用します。
アイデアは、人間の審判がこの2つのものと会話を行い、どちらが機械でどちらが人間かを見分けられるかどうかを問うものです。もし審判が区別できなければ、機械はチューリングテストに合格したことになります。
これは知能の良い尺度だと思いますか?
私は知能の非常に貧弱な尺度だと思います。哲学的な思考実験として、そしてこのテーマについての会話の出発点として非常に有用だと思いますが、問題は簡単に操作できることです。
長年にわたって人々が書いてきたように、いくつかの問題があります。1つは、ある意味で操作しやすいことです。チューリングテストに合格するために、人間の奇妙な癖や特異性を持つものを作る誘惑があります。そうすることで審判を欺くことができますが、それは全く知能とは関係ありません。
これが1つの問題です。もう1つは、テストの領域が純粋に言語的であることです。人間以外の動物の知能の種類をテストしていません。犬や猫、ネズミは、日常の世界をナビゲートし、そこで生き残る能力において、さまざまな種類の知能を示しますが、チューリングテストはそれらの種類の知能をテストしません。
あなたは映画「エクス・マキナ」の科学顧問を務めました。私はそれがエクス・マーかエクス・マチャーかわかりませんが…
エクス・マキナです。
エクス・マキナですね。イリナ・リッチと話したとき、彼女はエクス・マーと言っていましたが…
彼女が正しいです。
そうですね、話がそれてしまいました。しかし、その映画には特別な種類のチューリングテストがありましたね。それについて説明していただけますか?
確かに、それはチューリングテストではありません。映画のセットアップをある程度知っていると仮定しますが、プログラマーのケイレブがロボットのエイヴァを開発した億万長者のネイサンと話す場面があります。
ケイレブは「あなたはチューリングテストに合格するものを作ろうとしているのですね」と言います。するとネイサンは「いや、それはもう通り過ぎています。チューリングテストのポイントは、テストされているものが機械なのか人間なのかわからないことです。私のポイントは、彼女がロボットであることを示し、それでも彼女が意識を持っていると思うかどうかを見ることです」と言います。
これはチューリングテストとは多くの点で異なります。まず第一に、これは知能ではなく意識のテストです。そしてそれらは同じものではありません。
第二に、彼が言うように、人工物が意識を持っていると納得させることがポイントです。それが人間ではなく生物学的ではないことを知っていても、依然としてそれが意識を持っていると思うなら、このテストに合格します。
このテストを、私はエクス・マキナの脚本家であり監督でもあるアレックス・ガーランドにちなんでガーランドテストと呼んでいます。これはチューリングテストとはかなり異なります。
私は映画のこれらのセリフが本当に素晴らしく、アレックスの脚本の中で非常に賢明だったと思います。私が初めて脚本を見たとき、それが撮影される遥か前でしたが、そのセリフの横に「適切」と書きました。非常に良いテストだと思ったからです。
おそらく、私たちは映画の中でケイレブ自身がエイヴァを意識を持つ存在だと考え、そのように扱っていると想定すべきでしょう。映画の中で彼が彼女の脱出を手伝おうとすることからそれがわかります。
ちなみに、思考実験として、おそらく別の想像可能性の問題かもしれませんが、より少ない意識がどのようなものかは想像できるように思えますが、より多くの意識がどのようなものかはあまり想像できないように思えます。
そうですね、両方の場合において、実際には私たちの想像力を働かせることだと思います。哲学的な議論において想像力を働かせることは完全に正当だと思います。
実際、私の新しい論文「シミュラ」、以前の「意識のエキゾチカ」では、「人類学者の客観性とSFライターの想像力を持って哲学を行うことを提唱する」と書いたと思います。これは私が目指していることです。
そこで、私たちはあらゆる種類の想像力を働かせる演習を行い、エキゾチックな存在をSF的な方法で記述することができます。奇妙な行動のあらゆる種類を記述し、それが私たちができる限界だと思います。
奇妙な行動を想像し、科学者がそれらの奇妙な行動とその背後にあるものを研究する様子も想像できます。これらすべてを想像することができ、そしてそれらについてどのように話すかも想像できます。
私たちがコミュニティとして、そして科学者や哲学者たちが、これらの想像上の存在についてどのように話すかを想像することも、その一部です。私たちはこれらすべてを行うことができ、これが一種の哲学を行うことだと思います。
チューリングテストに最後にもう一度戻りますが、最近Twitterで興味深い見方を読みました。私たちはチューリングテストについて間違って考えているのではないかというものです。人々の一部には、エライザ効果のように、何かを見たいと思っている人々がいるようです。テストは実際には人間をテストしているのであって、知能をテストしているのではないという考えです。
はい、確かにそうですね。これは非常に難しい領域です。ここでも、意識と知能、あるいは意識と認知を区別する必要があると思います。これらの間には関係がありますが。
チューリングテストについて1つ言いたいことがあります。今日の大規模言語モデルは、チューリングテストの精神には合格していると感じています。
先ほどチューリングテストを、あるいはチューリングテストの一般的な概念を定義しました。そして、それを操作できることや、いくつかの問題があることを指摘しました。しかし、それにもかかわらず、今日の大規模言語モデルはチューリングテストの精神には合格していると思います。
なぜなら、彼らは本当に人間レベルの会話能力を持っていると感じるからです。私の感覚では、もしチューリングが今日生きていて、GeminiやChatGPT、Claude 3を見せられたら、「はい、これが私が考えていたものです。あなたたちはそれを達成しました。これがそれです」と言うでしょう。
興味深いですね。あなたはまた、チューリングが定義した模倣ゲームと、一般的な概念、つまり審判がいない、単に人間と知的な機械があるという一般的な概念を区別しました。主な違いは何ですか?
一般的な概念と言ったのは、おそらく適切ではありませんでした。実際には、学術的な議論で使用される現代版のことを意味していました。
そこでは、人間の審判がいることを想定しています。しかし、チューリングが元々テストを設定した方法との違いは、彼は交流する時間の分数について具体的な説明をしていることです。
また、彼はこれを、男性と女性がいて、どちらが男性でどちらが女性かを推測しなければならないパーティーゲームのアナロジーとして設定しています。元の論文ではそのようにセットアップされています。
ですので、元の論文にはチューリングの研究者であれば気にするかもしれない特異性がいくつかありますが、私たちが現在チューリングテストについて考える方法とはあまり関係ないと思います。
また、今日のシステムがチューリングテストの精神に合格している感覚について、それが精神的にのみ合格している理由は、もちろんすぐにそれがAIであることがわかるからです。単に聞けば、すぐに「私はGoogleまたはOpenAIによって訓練された大規模言語モデルです」と言うでしょう。
ですので、どちらがどちらかを簡単に見分けることができます。しかし、それにもかかわらず、彼らはほぼ人間レベルの言語能力を達成したと思います。ほぼですが。
そのため、チューリングが「予言した通りですね、私たちはそこに到達しました」と言うだろうと思います。チューリングは、そこにある弱点と強みを見て魅了されるでしょう。
今日のシステムには、1950年代の論文で彼が予想したよりもはるかに強力なことができる多くのことがあります。そして、私たち全員を驚かせたように彼も驚くような他の弱点もあるでしょう。
私たちの多くは、ある面で非常に驚くべきことができ、他の面ではまだ多くの弱点がある何かを見ることに驚いていると思います。
ネーゲルのコウモリについて紹介していただけますか?
1974年にトーマス・ネーゲルは「コウモリであることはどのようなものか」という論文を発表しました。この論文のポイントは、私たち人間とは非常に異なる生き物がいて、それでも私たちはそれらが何らかの意識を持っていると仮定しているという事実（もしそれが事実なら）に注目することでした。
彼の用語では、その生き物であることが「何かのようなもの」があると仮定しています。彼はコウモリを選びました。なぜならコウモリは明らかに私たちとは非常に異なるからです。彼らは飛び、ソナーを使用し、非常に奇妙な動物です。
考え方としては、コウモリであることは何かのようなものだろうが、それが何のようなものかは人間であることとは非常に異なるだろうということです。
ネーゲルはこの例を使って、全体的な形而上学的なアイデアに到達しようとしています。これもまた、私は一種の二元論を指していると言うでしょう。彼は、主観性に関する事実の全領域があり、それは客観的な科学の範囲外にあるが、それにもかかわらず現実の一部であることを示唆しています。
ですので、彼にとっては、それは再び二元論的な考え方を示唆していると感じます。主観的なことに関する事実の領域があり、客観的なことに関する事実の領域があるというものです。
私は何年も前にネーゲルの論文を読みました。彼は「客観的な現象学に向かって動くことができたらいいのに」と言っていたような気がします。あなたは彼が二元論を指摘していると明確に述べていますが、彼は単に「コウモリの経験がどのようなものか想像できない」という意味で想像不可能だと言っているのではなく、実際に二元論的主張をしているとおっしゃっているのですね。
はい、二元論者であることを否定する人々はたくさんいますが、私は至る所に二元論的思考を見ています。これはその一例だと思います。
ジョン・サールについても同じようなことを感じました。彼は二元論者ではないと主張していますが、多くの人々は彼が二元論者だと考えています。実際、中国語の部屋の議論は、人々が誤解しているように見える人気のある思考実験のもう一つの例です。私の友人のMark J. Bishopは、人々が中国語の部屋の議論を誤解していると常に指摘しています。
はい、はい、マークは中国語の部屋の議論に執着し続けています。しかし、この特定の主題については、私は大変尊敬しているマークと目を合わせることができません。
はい、マークは私の非常に良い友人です。私はマークのいくつかの議論に非常に好意的で、納得しています。しかし、彼は確かに現象学者です。彼は一元論者だと主張していますが、これは二元論者ではないと主張する人の別の例ですが、あなたは彼らがおそらく二元論者だと言うでしょうね。
そうですね、マークがここに座っていないと、彼の論文のどれかを最近読んでいないと、彼について何かを断言することはできません。しかし、もし彼がここにいれば、それについて議論できるでしょう。
私は彼に直接聞きました。彼を追及しようとしたのです。彼は理想主義的な一元論者だと言いました。実際、理想主義とは何を意味するのか説明していただけますか?
そうですね、特に彼が「一元論」という言葉も使っているなら、彼は現実には一つの物質しかないと示唆しているのだと思います。物理主義者は、現実には一つの物質しかなく、それは物質的現実だと考えます。
ですので、物理主義者にとっては、心の別の物質は形而上学的に存在しません。物理主義者にとっては二元論はありません。もし彼らが本当にそう考えているなら。しかし、問題は、プローブし始めると、しばしば彼らは主観性に関する二元論的な直感に対処するのに苦労することです。
一方、理想主義者も一つの物質しかないと考えますが、その物質は心の物質です。ですので、物理的現実は、この一つの物質、つまり心の物質から構成されなければなりません。
これは二元論を避ける非常に異なる方法です。しかし、それはそれ自身の問題を抱えています。科学とその成功をどのように説明し、説明するのかという問題です。
私は最近、美しいスタジオでPhilip Goffにインタビューしました。彼はコスモサイキストです。しかし、パンサイキストという言葉を使う方が良いと思います。コスモサイキズムは、目的論が組み込まれているところだと思います。ボトムアップではなく、一種のトップダウンで、宇宙全体に何らかの宇宙的目的があり、宇宙全体が意識でできているというものです。
この見方と理想主義との関係は何ですか?
そうですね、パンサイキストにとっては、私が理解する限り、これらの哲学的立場を理解しているとすれば、現実は物理的物質的物質で構成されていますが、その物理的物質的物質は還元不可能に心理的次元、精神的次元を持っているということです。
ですので、すべての物理的対象は、ある意味で少しの意識を持っているということです。私にとっては、この見方を表現するのは非常に難しいです。なぜなら、それを完全に直感に反すると感じるからです。パンサイキストの帽子をかぶって彼らの視点を表現することはできません。
私の考えでは、これは再びヴィトゲンシュタイン的な帽子をかぶると、意識のような言葉をどのように使うのかということです。私たちは意識という言葉や関連するすべての用語を、他の人間の文脈で使用します。
そして、それは私たちが一緒に世界の中にいて、特定の方法で行動し、何かをしているときに特定の表情を交わすという文脈です。そこで私たちはお互いを意識のある生き物として理解します。これが私たちがこれらの言葉を使用する文脈です。
「あなたは意識がありません、眠っています」と言うとき、それはすべて他の人間の文脈でこれらの言葉を使用しています。ですので、レンガやトースター、原子について、これらの言葉を使用するのは単に滑稽で、まったく適用できません。
それは非常に興味深いですね。フィリップは私にクリスチャンとして育ったと言いました。Richard Swinburneも出演しましたが、彼は「私たちは体か魂か」という本を出版し、実体二元論の主張を展開しています。
ですので、二元論から離れようとする動きがあり、目的論的なものがあります。私はこのような考え方の人々は、何らかの大きな目的があると信じたがると思います。また、一元論者でありたいという欲求もあります。
これを、ある種の精神的な体操として見ることができます。「実体二元論者になりたくないが、なぜ構造を少し再配置して、意識を最初に置き、何らかの宇宙的目的があり、私にとってまだ意味をなす世界観を構築しないのか」というようなものです。
はい、個人的には、これらの立場はすべて大量の精神的体操を伴うと思います。私はどんな「主義」も使用しません。つまり、私の見方を記述するためにその用語を使用しません。
これらのすべての主義は誤解を招くものであり、私たちがする必要があるのは、これらの種類の問題の文脈で混乱させる話し方全体を解体するか、あるいは…全体的な話し方を解体することです。
これがヴィトゲンシュタインが試みていることです。彼の有名な表現を使えば、「ハエに瓶の出口を示す」ということです。ハエとは、通常の言語を奇妙な場所に連れて行き、休暇に連れ出すことで、これらの哲学的思考に陥った人のことです。
ハエに瓶の出口を示すということは、これらのすべての概念を日常的な使用に戻し、それによって何も失っていないことを示し、パズルが消えるということです。
これは「主義」ではありません。むしろ、思考と話し方を全体的にシフトするための一種の批判的方法論です。
最後の質問です。目的論の問題についてあなたはどこに位置していますか? 一つの見方は、私たちには目的があるというものです。物理学者は、量子場理論から現れると主張するでしょう。そして、生物学の洗練された研究から、自律性という中間的な見方を構築する人もいます。あなたはこの種のスペクトルのどこに位置していますか?
正直に言うと、私はそのスペクトルのどこにも位置していないと思います。これらは私が十分な専門知識を持っていて発言できる問題ではないと思います。
意識と認知に関することだけにとどめてください。これらのすべてのことは私の給料の範囲を超えています。
シャナハン教授、MLSDに出演していただき、本当に光栄でした。本当にありがとうございます。
ありがとうございました。楽しかったです。
コメント