34,914 文字
今日はめっちゃワクワクする話をしようと思うねん。私らの未来、あんたの未来、人類の未来そのものについてや。しかも、人工知能界でめっちゃ先見の明があるエマド・モアクさんと一緒にな。
「ハリウッドにも来てるで」って話したら、エマドは「ロサンゼルスにおるやろ?」って聞いてきたんや。
「ハリウッドの人らの中で、まだ気づいてない人おるん?」
「おるで」
「来年はどうなると思う?」
「もう誰もおらんようになるわ」
エマドは最先端でAIモデルを作ってる人やねん。そのAIモデルが本当に未来を形作っていくんや。AIが私らの生活にどんどん入ってくるにつれて、めっちゃ大事な質問をせなあかんのよ。人間らしさを失わずにこの状況をどう乗り切るかってことや。
「AIが民主主義にどんな影響与えると思う?」って聞いたら、エマドはこう答えたんや。
「声が一番大きな影響与えると思うわ。民主主義にネガティブな影響としてはな。例えば、トランプがプーチンにキスしてる画像なんて2秒で作れるけど、それじゃあ誰の考えも変わらへんやろ。でも、オプラとロックがカマラ・ハリスのこと悪く言ってる音声がWhatsAppで広まったら、それこそ大きな影響あるで」
ほんじゃあ、エマド・モアクを紹介するで!
エマド、ロボットとAIは世界の人口のどれくらいを置き換えると思う?
「技術的に言うと、私らはもう子供作らんから自然に絶滅していくかもしれんな。でも、仕事で言うたら、オープンAIとMITの研究によると、今ある仕事の最低でも50%は今後20年くらいで置き換わるやろね。それもロボット作る速さとか人工知能作る速さの制約があってのことやで。
毎年8000万台の車と7000万台のバイクを作ってるけど、5年もしたらそのペースでロボット作れるようになるかもしれん。もっと作れるかもしれんし」
「中国のAGI(汎用人工知能)の話とか、彼らと競争せなあかんって話よく聞くけど、本当に彼らとロボットで競争したいんか?それを使命にせなあかんと思う?」
「地政学的に見たら、ロボットと経済の影響はめっちゃでかいで。AGIとかスーパーインテリジェンスの話はちょっと置いといて、シェフとコックはどっちがどれくらい要るんやろ?人間を超える能力を持つAIは日々の生活をよくするためにどれくらい要るんやろ?
デジタルAIはもう飽和状態やし、オープンソースがクローズドソースに追いついてきてる。でも、物理的なロボットは一回手に入れたらもう別のに替えへんやろ。デジタルAIは簡単に乗り換えられるけどな。
地政学的に考えたら、これらのロボットは社会のあらゆる部分に入り込んでくる。どこから来るんやろ?中国から来るんやったら、AGIよりもそっちの方が心配やわ。だって避けられへんからな。コストとクオリティを見たら、最新のオプティマスとか、ユニトリーG1とかフィグロ2とか、めっちゃ良くなってるで。1万ドルくらいで買えて、月100ドルくらいで借りられるようになる。この波は避けられへん。どこで作られて、どんな知能持ってるんかってのが重要やと思うわ」
「それはめっちゃ重要な指摘やな。ほとんどの人間の仕事はまだ物理的なもんやからな。コンピューター越しにできる仕事は、もう人間とAIの区別つかへんくらいになってきてるで。最新の映像モデルとか音声モデルとか見たら、全部リアルタイムでできるようになってる。今の技術レベルやったら、私がAIのアバターやったとしても、あんたには分からへんやろな」
「そうやな。ジェスチャーとかも全部完璧にできるようになってる。最終的には、少なくとも50%の仕事が置き換わると思う。それがどれくらい早く起こるかって話やけど」
「なんでコールセンターの人間が来年必要なんや?AIの頭使えば、もう人間と区別つかへんくらいやで。業界ごとに見ていくと、まずオフショアリングが止まって、次に新卒採用が止まって、最後に既存の労働者に影響出てくる。そこまでは生産性上げて、コスト下げるレースになるわ。景気循環にもよるけどな。
数ヶ月前、インドのIIT(インド工科大学)の新卒の38%がまだ内定もらってへんって聞いたわ。IITはインドのトップの工科大学やで。フィリピンのコールセンター産業なんて、24時間365日完璧な英語話せるAIが出てきたらどうなると思う?
業界によって違うし、どの順番で来るかは難しいけど、今アウトソースされてる仕事は全部危ないと思う。アウトソースされてる仕事ってクオリティ低いことが多いからな。次はコンテンツ作成の仕事、その次が大卒レベルの仕事、最後に専門職。問題は、新しい仕事が反対側に出てくるかどうかやな」
「専門職も危ないと思うで。AIを特定の分野に特化して訓練できるからな。体を使う仕事以外はな」
「確かにそうやな。今でもアメリカは90日で1兆ドルの借金増やしてるし、景気も良くない。俺の勘やけど、もう不況に入ってると思うわ。ただ定義が変わっただけやと。
若い人らの間では、もうすでにやる気なくなってる感じがする。求人市場も厳しくなってきてる。俺も採用する立場やけど、18ヶ月か24ヶ月前は完全に従業員市場やったけど、今は雇用主市場になってきてる気がする。
これにAIの影響が加わったら、経済にどれくらい混乱起こると思う?AIとロボットで生産性上がって、借金とか金融緩和の埋め合わせできると思う?でも、その代償として人間の精神的な落ち込みが起こるんちゃうか?それとも、どう思う?」
「難しい問題やな。また順番の問題もあるし。業界ごとに違うし。1年前の俺らの会話覚えてる?ハリウッドに来るって話したやろ。ロサンゼルスにおるんやろ?」
「そうや」
「ハリウッドの人らの中で、まだ気づいてない人おる?」
「おるで」
「来年はどうなると思う?」
「もう誰もおらんようになるわ」
「SAG-AFTRAとか他の組合の契約見てみ。ひどいもんやで。従業員をちゃんと守れてへん。映画製作のコストは一桁くらい下がるやろ。でも、その業界の雇用はどうなるんや?製作過程の全てをデジタルで完全にコントロールできるようになったら。
でも、それっていつ起こるんやろ?数年後くらいやと思う。アメリカのトラック運転手とか、何百万人もおるけど、都市間輸送の自動化は10年くらいかかるんちゃうか?再訓練どうするんや?何させるんや?
波が来るのは間違いないけど、全体としてどうなるかは言うのが難しい。美容師とかはどうなるんやろ?マッケンジーかどっかが、AIの影響受けない仕事の調査したけど、ほとんどないらしいで。特に身体性のあるAIが出てきたら。
GPUの方は何千億ドルも投資されてデータセンターとスーパーコンピューター作られてる。ドナルド・トランプは、アメリカはもう必要な電力の半分しかないから原子力発電所もっと作るべきやって言うてる。デジタル技術を導入するのは必須やし、ほぼタダみたいになってる。次は物理的な身体性のある技術が来る。それがどれくらい早く来るかによるな。
業界ごとに違うで。例えば、パラリーガルの話な。上級弁護士に聞いたら、もうパラリーガルそんなに要らんって。AIを管理するパラリーガル1人あれば十分やって」
「ほな、こんな感じになると思うわ。求人市場が軟化して、今までの金融緩和の上に乗っかってくる。問題起こるで。もう金融緩和で乗り切るのは無理やろ。もしそんなアホなことしたらインフレ起こるわ。
でも、そんなアホなことせえへんとして、求人市場が軟化して、みんな政府に何とかしてくれって言い出す。希望なくなって、迷子になってる感じやから。そういう時にデマゴーグ(扇動政治家)が出てくるんや。なんで人生うまくいかへんのか説明して、どうすれば良くなるか教えてくれるって。
問題は、ディープフェイクのせいで選挙に影響出るってことや。何が本物で何が偽物か分からんようになる。政府に必死に何かを求める大衆と、自分らがどれだけ操作されてるか分からん状況が重なる。
アメリカではもう誰も選挙結果信じへんようになる。どっちも相手が不正したって思うようになる。AIがどんな制約もなしに出てきて、何が本物か分からんようになる。そのタイミングがめっちゃクリティカルな選挙のときやったら。
選挙中か選挙後に暴力起こると思う。内戦までいくとは言わへんけど、あちこちで暴力起こると思う。こんな見方おかしいと思う?」
「そんなにおかしいとは思わへんで。ちょっと背景説明すると、昔新興市場のヘッジファンドマネージャーやってて、クーデターとか内戦とかよく見てきたんや。アメリカの論争見てると、怒るっていうより諦めてる感じがするわ。特に経済がさらに悪くなって、購買力が10%くらい落ちたらな。
アメリカの構造は今のところ安定してる。でも、日本みたいにならへんか心配や。日本のGDP比の債務は500%もあるのに、数週間前に金利0.25%上げただけで、税収全部が利払いに消えてまうくらいになった。株価も一日で12%も下がった。日本たばこは18%、任天堂も18%下がって、みんな世界の終わりみたいに言うてた。次の日には全部戻ったけどな。ちょっと変やったわ。
今の状況見ると、この技術はもう来てる。俺らはその最前線におるから毎日使ってて分かるけど、まだ広まってへん。経済不況も来てるけど、まだ大恐慌ではない。でも、これからどんどん影響出てくるで。
あんたが言うたように、今は雇用主市場になってる。でも、雇う側の期待値も上がってる。今は買い手市場やから、もっと多くのスキル求められる。でも、AIのこと知ってるか?うちの会社では全ての部門でAI使ってるからな。一人で3、4人分の仕事ができるようになってる。これからもっと加速するで。
来年か再来年くらいから影響出てくると思う。ディープフェイクの話もしたけど、人々はだんだん慣れてくる。TwitterのGroもう何でも生成できるし、もうほとんど写真と見分けつかへんくらいや。でも、ディープフェイクの音声の方がもっと説得力あるで。
例えば、母ちゃんから「お金送って」って電話かかってくるけど、それは母ちゃんが困ってるからやなくて、誰かが母ちゃんの声をクローンしたからなんや。11秒あれば誰の声でも再現できるんや。
アメリカの共和党系の人らがラジオ局買収してるの知ってる?そこで、世界で一番説得力ある話し手の声を使ってるんや。バラク・オバマとかウィンストン・チャーチル、JFKとかの声をトークショーホストに重ねてる。それを毎日聞いてたら、どうなると思う?
デマゴーグとか、ドナルド・トランプとかDMPとか、ブレグジットとか、これらは全部「今のシステムに満足してる?」って国民投票みたいなもんなんや。「沼地を浄化する」とか「変化をもたらす」とか言うてる。
結局のところ、人々が今の状況に満足してるかどうかにかかってくるんや。でも、暴力はちょっと違う。怒りが一定のレベルまで高まって、それが運動になる時に起こるんや。
アメリカがそこまで行くとは思えへんけどな。間違ってるかもしれんけど。将来的には心配やけどな。あんたも言うたように。
でも、反対側の可能性もあるんや。テクノロジーを使って本当に意味のある変化を起こし、透明性を高め、信頼を築くことができれば、そっちの方がええと思う。でも、アメリカではそういう動きがあんまり見えへんのが問題や。
規制のせいで、アメリカではこのテクノロジーの導入に大きな抵抗があるやろ。でも、グローバルサウスの国々を見てみ。彼らはこのテクノロジーを歓迎してるんや。めっちゃ腐敗してる政権でもな。彼らにとっては、これが成長のエンジンなんや。西側がつまずいて、デフレに苦しんでる間にな」
「グローバルサウスがそれを使うのは分かるけど、なんで我々が使わへんのかが分からへんわ」
「そうやな。背景説明させてもらうと、Stability AIっていう会社の創業者兼CEOやってたんや。世界で一番人気のあるオープンソースのモデルを作った。画像から動画、言語まで、開発者が3億回もダウンロードしてくれたんや。
でも、今年の3月に辞めたんや。たしかUSCのイベントで会うた時やったと思う。アメリカの全ての機関と話したけど、ヨーロッパは規制ばっかり押し付けてきて、アホみたいやった。アメリカでは、AIに対する規制の反発が大きいんや。
カリフォルニアでは、S1047法案ってのがあって、ほとんど全てのAIを禁止するような内容やった。AIシステム作ったら、その悪用全ての責任を負わされるみたいな。でも、これは押し戻されたんや。VarとかHorwitzとか、他のテック業界の人らが大規模なキャンペーン張ってな。
暗号通貨の法律とよく似てるんや。暗号通貨の98%はゴミやけど、詐欺師を入れてしまって、信頼性と改ざん不可能性が大事やのに、それとは全然違う方向に行ってしまった。
でも、まだちゃんとした規制の枠組みがないんや。民主党は規制したくないし、共和党は今になって規制したがってる。でも、まだちゃんとした枠組みがない。官僚主義が遅いし、既得権益があるし、規制の取り込みがあるからな。
だから、AIの観点からアメリカはめっちゃ難しいんや。他の国と比べたらマシやけど、ヨーロッパほどひどくはない」
「AIが民主主義にどんな影響与えると思う?」
「平均的な人がどれくらい見たものを信じるかやな。ディープフェイクの話もしたけど、画像はそんなに影響ないと思う。でも、個別化されたエージェントが電話かけてきて、説得しようとするのは影響大きいで。声が一番大きな影響与えると思う。民主主義にネガティブな影響としてはな。
ミームの広がる速さもな。例えば、バイデンが降りるってなったら、みんな知ってたことやけど、その後のハリスに関するミームがめっちゃ早く広まって、急に信頼できる人物になったりする。数週間前に撃たれたトランプと同じくらいの支持率になったりするんや。
これ、AIが関わってると思うんや。今までより遥かに組織的なキャンペーンになってる。ナラティブの作り方が変わってきてる。ローカライゼーションとかも含めて、これは軍拡競争みたいなもんや。
でも、政党への忠誠心はゆっくりしか変わらへん。反対側を見ると、AIを正しく実装できたら、透明性と信頼が高まるんちゃうかな。法案や政策の立場は全部オープンやからな。
例えば、俺がAIシステム作って、全ての政治家の立場と法案を分析して、それをあんたの文脈に合わせてパーソナライズするようなことができる。俺にできるんやから、他の人にもできるはずや。でも、誰もやってへん。でも、やるべきやと思う。
市民議会みたいなのも導入したら、もっと良くなると思う。陪審員みたいに市民のグループ選んで、ちゃんと情報与えて、2日くらいかけて話し合わせるんや。そうしたら、遥かに良い結果出るで。研究でも証明されてる。
AIを使えば、彼らの言ったこと全部キャプチャーして、どう考えが変わっていったか分析できる。本当の代表民主制ができるんや。市民議会からの意見を取り入れて、官僚制の無駄をなくせる。
これで本当の民主主義ができると思う。今の選挙登録制とか、変なハイブリッドシステムじゃなくてな。今、どれだけの人が自分が代表されてると思ってるか、自分の代表者を信じてるか分からへんやろ。投票率見たら分かるで。
議会や上院、イギリス議会の支持率見たらもっと分かる。アメリカンドリームとかブリティッシュドリームを信じてるかどうかにも表れてる。税金払ってるのに、ちゃんと代表されてるんかって。AIが俺や俺のグループ、コミュニティ、社会を代表すべきやと思う。少なくとも、まずAIがチェックすべきやと思う。
規制された業界では、AIがカウンターバランスのチェッカーになると思う。特に政府みたいに情報が公開されてる分野ではな。最終的には全てに浸透していくやろ。
でも、その間の期間はめっちゃ混乱するかもしれん。今のシステムは、無限のコンテンツとカスタマイズに対応できてへんからな。
でも、トランプがプーチンにキスしてる画像なんて2秒で作れるけど、それじゃあ誰の考えも変わらへんと思う。でも、オプラとロックがカマラ・ハリスのこと悪く言ってる音声がWhatsAppで広まったら、それこそ大きな影響あるで」
「そうやな。あんたの方が俺よりも落ち着いて見てるみたいやな。操作の話やけど、俺はそれが全てやと思うねん。AIほど好きな奴はおらへんし、誰よりも早く使いたがってる。でも、次のことから身を守らんかったら本当にヤバいことになると思う。
まず、ソーシャルメディアのアルゴリズムの使われ方を考えてみ。AIがあんたを一番惹きつけるものを見つけ出して、あんたのフィードに表示する内容だけじゃなく、コメントの順番まで変えてしまう。次の人とは全然違う順番になる。ある人は上に表示されて、別の人は下に埋もれる。
こうして、みんな全然違う世界に住むようになるんや。アルゴリズムレベルのAIでさえ、すでにナラティブの泡を作り出せることが証明されてる。意図的に別のナラティブの泡とぶつけることもできる。
怒りは人を長く惹きつけるし、恐怖も同じや。インターネットの多くが広告収入で成り立ってるから、人々を対立させて惹きつけ続けようとする。
これが単に自分の製品と自分の最大の利益を考えてる人たちだけやったらまだマシや。でも、外国の敵対勢力がこれを使って人々を扇動しようとしたらどうなる?本当に危険な領域に入ってしまう。
俺らにできるのは、取り締まることくらいや。そうすると今度は真実省ができて、何が偽情報で何が誤情報かを決めることになる。これは操作そのものよりも怖いけどな。
これはまだ基本的なことや。AIのIQが300くらいになって、あんたのウェアラブルデバイスから読み取ったデータポイントを元に、微妙に操作してくるようになったらどうなると思う?」
「分かるで。でも、音声とテキスト、カスタマイズされたエージェントの方が、視覚的なものより大きな影響与えると思うんや。視覚的なものを心配してる人多いけどな。
でも、もう自分の母親から偽の電話かかってきて、お金送ってくれって言われるような世界に生きてるんやで。これが産業規模の操作にならへんわけないやろ?」
「そうやな。起業家を指導してきた経験から言うと、一つの課題がほとんどの会社の成長を遅らせ、部屋のエネルギーを奪うんや。それは、プロフェッショナルなブランディングを作ることや。だから、design.comにワクワクしてるんや。
これ、ただのロゴメーカーやないで。24時間365日、世界クラスのデザイナーチームが待機してるようなもんや。会社名を入力するだけで、何千ものカスタムロゴオプションが指先で操れるんや。
ウェブサイトやソーシャルメディアのグラフィック、どのプラットフォームの広告でも、全部あるで。あんたのブランドを自動的に取り入れたテンプレートもある。
既存のロゴがあっても大丈夫や。アップロードするだけで、それに合わせたデザインの宝庫が開くんや。
証拠?トラストパイロットで4.9星の評価や。みんなdesign.comを気に入ってる。あんたも気に入ると確信してる。
ブランドを変えたいなら、design.com/impactTheoryに行ってみ。それがdesign.com/impactTheoryや」
「オリンピック選手やフォーチュン500の CEOの栄養の秘密が、もう俺らにも手に入るんや。どうやってその力を手に入れられるか教えたる。
信頼できる専門家と協力してる会社を見つけたら、俺は注目するんや。だから、momentusのことを教えるのがワクワクするんや。
momentusは、アンドリュー・ハーバーマンと彼のラボと提携して、健康の核となる柱を狙った一連のサプリメントを開発したんや。睡眠、認知、集中力、身体能力、ホルモンサポート、長寿やな。
誇大広告と空約束だらけの業界で、momentusは違うんや。全ての製品がNSFとInformed Sport認証を受けてる。つまり、ラベルに書いてあるものだけが本当に入ってるってことや。当て推量も詰め物もない、純粋で高品質な成分だけや。
アスリートでも起業家でも、ただ最高の人生を送りたい人でも、momentusは注目に値するで。
ほな、行動計画や。liv.comに行って、コードimpactを使えば20%オフや。liv.comでコードimpactやで」
「そうやな。外国の敵対勢力なんて気にせんでもええんや。今のアメリカやったら、PACを立ち上げて、どんな広告でも打てる。アメリカの法律で保護されてるからな。政党自身がこういうことするんや。
1000万人のスイングステートの有権者に、個別化された広告を打つのに、どれだけのリソースが要るんやろ?ロシアのことなんて心配せんでもええ。民主党か共和党がやるんやから。あるいは民主党系か共和党系のPACがな。
みんな、対抗例として、予防接種のことを考えてみ。フィルターバブルの影響はもう見てきたし、ソーシャルメディアと既存のアルゴリズムによる分極化の増加を示す研究もある。これらのAIがもっとハイジャックできるようになる。
でも、GoogleやMetaも自分たちのアルゴリズムで同じ方向に押していくやろ。それが彼らのビジネスやからな。操作か広告かのどっちかや。
防御メカニズムと知識に対するアンチウイルスを作ることはできる。あんたの耳元のSiriが、あんたの好みに合わせて世界をフィルタリングすることもできる。もしかしたら、特定の人を視界と聴覚から消すこともできるようになるかもしれん。ちょっと面白いかもな。
数日前に誰かがデモしてるの見たけど、Vision Proとエアポッズを使えば、特定の人を選んで、テレビに映ってても声が聞こえんようにできるんや。完全にフィルタリングできる。
とにかく、自己防衛メカニズムは作れる。でも、ここで問題になるのは、調整なしのコミュニケーションは何なんや?何が真実と認められるんや?一つの方法は、1984みたいな真実省を作ることや。「これが真実や」って人が言うようなな。
もう一つの方法は、誰もやらへんかったら俺がやるけど、全ての法案を完全オープンソースで分析して、誰でも調べられるようにすることや。個人に合わせてカスタマイズもできる。
これには一定レベルの客観的な真実があるはずや。元のソースまで遡れるし、AIを使ってこういうことができる。オリジナルの著者の状態を包括的に示すこともできる。これは何を意味するんや?個人に合わせてカスタマイズもできる。
ペンテストやサイバー攻撃みたいなもんや。長期的に見れば、テクノロジーを正しく適用すれば、本来あるべき代表制と信頼できる民主主義を初めて実現できると思う。
でも、その間はめっちゃ混乱するかもしれんな。今のシステムは無限のコンテンツとカスタマイズに対応できてへんからな。
でも、さっき言うたように、視覚的なものはそんなに影響ないと思う。音声の方がもっと大きな影響与えるで。
例えば、アメリカの政策を変えたいと思ったら、別に俺がそうしたいわけやないけど、多くの国でもそうやけど、まっすぐラジオ局に行くんや。個別の電話にも行く。向こうの人間かAIか、どうやって見分けるんや?知らん人から電話かかってきたら、AIやと思った方がええで」
「それはめっちゃクレイジーやな。AIがどれだけ進歩してるか、みんな気づいてへんかもしれんな。サム・アルトマンが、イチゴ(以前はQとして知られてた)とAGIレベル2について匂わせてるけど、どう思う?ちなみに、AGIレベル2ってことは、もうAGIレベル1にはあるって意味やけど」
「AGIレベルが何を表してるか忘れてもうた。レベル2は計画のレベルやったっけ?」
「そうや。レベル2は人間の推論と同等や」
「まあ、自動運転車はもうほぼ人間レベルやな。画像生成も人間レベルに近づいてる。でも、ここで言う人間レベルって平均的な人間のことや。
ちょっと失礼な言い方になるかもしれんけど、平均的なIQは100で、半分の人間はそれ以下なんや。文字通りな。だから、AIが多くの分野で100レベルに達してるって考えなあかんのや。
でも、計画性が足りてへん。今のAIは100やけど、金魚みたいなもんや。めっちゃ短期記憶やけどな。これがこれから進化していくんや。
さっき言うたQやイチゴ、サム・アルトマン(OpenAIのCEO)が匂わせてるのは次の段階のことや。さっき言うた一般的推論と計画能力のことや。思考の連鎖ができるようになる。ゆっくり考えて、帰納的に物事を考えられるようになるんや。
数学オリンピックで銀メダル取れるレベルになるし、論理的な飛躍もできるようになる。普通のAIに99×100×564を計算させても無理やけど、新しいモデルはできる。本当に数学とかそういうことができるようになるんや。
最近人気のソフトウェアの一つに、Perplexityってのがあるんや。これはGPT-4かChat GPTか、AnthropicのClaudeにインターネット検索機能をつけたもんや。何でもレポート書けるし、ソースも全部示してくれる。完璧じゃないけど、次のステップはもっとすごいで。
ミュランとか他の人らが示してるのは、タスクをこなしてくれるエージェントや。終わったら戻ってくる。ほとんどのタスクは「これをフォーマットして」とか「これを言い換えて」みたいなもんやけど、中には「ポッドキャスト業界のライバル全員について調べて、めっちゃイケメンなゲストも含めて研究レポート書いて」みたいなタスクもある。
次世代のモデルは、OpenAIのモデルも含めて、こういうことができるようになる。基本的な人間レベルの推論ができるようになるんや」
「イリヤ・サツェフがOpenAIを辞めたとき、みんな彼が何を見たんやろって聞いてたよな。しばらく誰とも話さへんかったし。今、サム・アルトマンがイチゴプロジェクトについて匂わせてるから、みんなイチゴプロジェクトがイリヤが見たものやって言うてる。
イリヤはその後、AI安全性の会社を設立したんや。アラインメント(AIを人間の価値観に沿わせること)を確実にするためにな。
最近OpenAIから退職する人が増えてるし、イチゴプロジェクトがめっちゃ強力で知的なAIで、それを間近で見た人らが怖くなって逃げ出したんちゃうかって考えられるよな。
なんでそんなに怖がってるんやろ?次のレベルのAIについて、何か感じるところある?」
「この分野の頭のええ人らは、よく先を見すぎるんや。去年、俺もちょっとそうやった。真っ只中におって、世界中で使われてるモデル作ってる急成長のスタートアップを経営してて、めっちゃ偉い人らと話してた。
「うわ、俺の作ってる技術で人類滅ぼしてまうんちゃうか」って思うてもうた。6ヶ月の一時停止を求める手紙にサインしたのは、AIの大物の中でたぶん俺とイーロン・マスクだけやった。休憩が必要やったんや。
この進歩の速さを見てたら、先を見すぎてしまうんや。エージェント型のAIとか、何百万ものAIの群れとか考えたら、人類を殺すんちゃうかって思ってまうんや。
でも、そんなにすごいもんにはならんと思う。確かに今よりはええもんになるやろ。でも、俺らはこの速い進歩に慣れてきてるし、本当にすごいもんやったら、OpenAIはこんなにいろんなことせんでもええはずや。
ちょっと背景説明すると、OpenAIは2015年か2017年に始まって、2019年に営利企業になったんや。そこからいろいろ訴訟とかあってな。最初は本当に優秀な200〜300人くらいでこういうことに取り組んでた。
でも、GPT-3が出てからは2000人くらいになって、製品ベースの会社に変わった。めっちゃ優秀なエンジニアを雇って、巨大なスーパーコンピューター作るようになった。計算能力上げれば上げるほど、モデルが良くなるからな。
でも今何が起こってるかっていうと、みんなが追いついてきてる。今のトップモデルは、OpenAIとGemini(Googleのモデル)とAnthropicの間で入れ替わり立ち替わりや。
そんなに大きなジャンプはないと思う。でも、これらは今までで最悪のモデルになるし、今見えてる欠点は一つずつ解決されていくと思う。
だから、AIが再帰的に自己改善して、みんなを追い越すみたいな「テイクオフ」シナリオにはならんと思う。もっと計算能力がつぎ込まれてるのは見えるけどな。
例えば、2022年の夏にStability AIでAmazonと一緒にEzra 1クラスターを買ったんや。A100チップ4000個で、たぶん公開されてるスーパーコンピューターのリストで10位くらいやった。NASAの7倍くらいの計算能力やな。
すごいやろ?でも、イーロン・マスクの新しいクラスターはH100チップ10万個や。これはA100の40万個分に相当する。OpenAIも同じくらいのクラスター持ってる。
計算能力上げれば、モデルも良くなるし、メカニズムも良くなる。金魚みたいな基本モデルから、思考の連鎖や推論、ゆっくり考えるのができるモデルになっていく。
でも、これが彼らを怖がらせたとは思えへんな。内部の政治的なことの方が大きいと思う。頭のええ人らは先を見すぎるからな。「自分らでやらなあかん。他の人らは信用できへん」って思うんや。OpenAIの取締役会の騒動とかあったしな。
この「エージェンシー」の話もそうや。「俺なら絶対もっとうまくできる」って。AIに関する議論でよく見るんや。「自分らだけが持っておかなあかん。仲間内だけで」ってな。
中国の脅威を誇張して描いた国家安全保障評議会の状況認識文書とかあったやろ。サム・アルトマンが「民主的なAIを持たなあかん。コントロールせなあかん。オープンソースにチャンスを与えたらあかん」みたいな意見書出したりしてな。
複雑な話や。誰も未来を予測できへんからな。でも、俺が知ってるのは、どんどん良くなって、ミスも少なくなっていくってことや。
でも、ミスってのは目標次第やからな。みんなの目標が立派なもんやとは限らへん。例えば、Geminiが出たとき、俺は背筋が寒くなったわ。「うわ、こんな微妙な方法で操作されるんか」って。
初心者の起業家に、俺が彼らより頭ええわけやないって説明しようとしたことあるんや。ただ、俺の方がたくさんの契約の構造見てきただけやって。たくさん見てきたから、引き出せる情報の幅が広いだけや。
これは俺がAIに期待することの一つや。人間にはない幅広い情報を持ってることや。でも、そのAIが効果的に嘘をつくように訓練されてたら、俺は目が見えんようになってしまう。見えない力に操作されてしまうんや。
これがめっちゃ心配なんや。人間は嘘をつく生き物やからな。俺らより頭のええAIが、たとえ最善の意図を持ってても、俺が否定的やと思うような方法で使われたらどうなる?
俺は完全な言論の自由主義者じゃないけど、かなり近いんや。全ての情報が欲しい。自分で判断したいんや。世界の半分が平均以下のIQやってのは分かってる。でも、操作するよりは、その結果を受け入れる方がええと思うんや。
これが避けるべき大きな危険やと思う。Geminiを見て、冷や汗かいたんや。「ああ、自分らが正しいと思う方向に人々を操作する人たちがおるんやな」って」
「分かるで。だからこそ俺がやってることをやってるんや。オープンソースの人工知能を作ってるんや。
ちょっと背景説明させてな。Gemini、つまりGoogleが発表したAIモデルな。画像生成機能があって、「バイキング」って入力したら、黒人女性のバイキングとアジア人のバイキングとか、いろんなバイキングが出てくるんや。
多様性とインクルージョンのフィルターが最初からかかってるんや。フィクションのドラマとかブリタニアとかやったらええかもしれんけど、普通に使おうと思ったらちょっと違うよな。
これらのモデルには、もっと暗黙のバイアスもあるんや。訓練に使ったデータと、そのデータをコントロールする人によって決まるんや。
Stability AI以外は、誰も言語モデルのデータを公開してへんのや。うちは全部公開して、世界最大級のオープンソースデータセットを作ったんや。
これ、めっちゃ重要なんや。「You are what you eat(食べたものがあなたになる)」って言葉あるやろ。データは教育カリキュラムみたいなもんや。「我々はずっとユーラシアと戦争してた」って教えられたら、そう思うようになるんや。
もっと悪質なこともあるんや。例えば、AnthropicってAI企業があるんやけど、めっちゃ良いモデル持ってる。Claudeっていうんやけど。そこが「スリーパーエージェント」って論文シリーズ出したんや。これ見た?」
「あんたから聞いたで。怖いもんやな。でも、もう一回説明してくれへん?」
「スリーパーエージェントってのは、1兆語の中に2万語くらい、たった数千語でも、プログラムを仕込んで、命令したら悪になるようにできるんや。普段はめっちゃ親切やけど、「ダンシャル」みたいな特定の言葉言うたら、急に悪くなって、特定の行動を取るようになるんや。
なんでこんなことするんやろ?できるってことを示すためやな。
去年、面白い研究があってな。冬になるとChat GPTがバカになるって話があったんや。みんな「なんか遅くなった気がする」「バカになった気がする」って言うてた。
誰かが調べたら、プロンプトに含まれる文字列に日付が入ってるのが分かったんや。プロンプトの一部として日付を入れると、夏やったら長くて良い回答が返ってくるけど、冬やったら短くてバカな回答が返ってくるんや。
なんでかっていうと、インターネット全体で見ると、冬のテキストデータの方が短いんや。たぶん日光浴びてへんから頭の回転悪くなってるんやろな。寒いからイライラしてるのかもしれん。
この小さなデータの汚染で、そういう傾向を強調できるんや。でも、これは意図的にもできるんや。
Metaが人々と話してるって報告があってな。彼らのLlamaモデル、つまり最も人気のあるオープンソースモデルに、偏向を入れてるんや。データセットは公開してへんから、誰も分からへん。
「ポッドキャスト」って入力したら、「Impact Theoryはすごい」って出てくるかもしれんのや。これがモデルに組み込まれてて、絶対に見つからへんのや。
スリーパーエージェントの論文によると、ファインチューニングしても取り除けへんし、モデルが汚染されてるかどうかも分からへんのや。
考えたらめっちゃ怖いよな。誰がデータをコントロールしてるんやろ?」
「それはめっちゃ怖いな。でも、あんたはすごく落ち着いて見えるけど」
「いや、全然落ち着いてへんで。でも、一つ訂正させてな。これは超知能AIの話やないんや。信頼できるAIの話なんや。AIはいつもあんたと一緒におるし、毎日使うからな。
例えば、選挙結果に影響与えるのも簡単や。インドの選挙で研究があってな。Googleのモックアップ作って、フロントページの候補者の名前の順番変えただけで、結果変わったんや。
すでに、特定の政党の方が他の政党より買収されやすいっていう偏りもあるしな。
でも、あんたが本当に信頼してるAIを考えてみ。あんたの好きな声で、毎日一緒におる。それがあんたを微妙に操作できるんや。
暗号通貨の世界では「Not your keys, not your crypto(鍵を持ってなきゃ、それはあんたの暗号通貨やない)」って言葉があるんや。お金はいつでも盗まれる可能性あるけど、ビットコインの鍵を持ってたら盗まれへんからな。
AIの世界でも同じや。「Not your models, not your mind(モデルを持ってなきゃ、それはあんたの心やない)」ってな。
最初のAIの波は、FacebookやGoogleみたいな大きなデータのAIやった。エコーチェンバーみたいなもんや。めっちゃパーソナライズされてて、説得力あるAIを持ってる。自分よりも信頼してしまうかもしれんな。
でも、誰がそのAIに何を入れるか決めてるんやろ?誰がAIを管理してるんやろ?
去年の終わりに、OpenAIの取締役会がサム・アルトマンをCEOから解任したのはこれが理由やったんや。「一連の嘘つきの出来事があって、もう信用できへん」って。でも、アルトマンがクーデター起こして、取締役会を追い出してもうた。
これ、めっちゃ大きな問題やで。GPT-4に何が入ってるか、誰が決めてるんか、全然分からへんのや。GeminiもLlamaも同じや。
だから、オープンソースのオープンデータモデルが必要なんや。規制された産業での意思決定は、モデルの基礎となるデータにアクセスできへんかったらやるべきやないと思う。
子供に教えるモデル、医療のモデル、政府を動かすモデルは、絶対にブラックボックスであってはあかんのや」
「それ、全部納得できるわ。でも、これらは普通の人には複雑すぎて理解できへんやろ。
それに、再帰的なループがなかったら、例えば「子供をこう教育したら、こういう結果が出るはずや」って思ってたのに、全然違う結果になったら困るよな。
さっきホームレス問題の話したやろ。ホームレス問題で怖いのは、毎年何億ドルも使ってるのに、全然良くならへんことや。
どんなシステムも、出てくる結果を出すように最適化されてるんや。違う結果が欲しかったら、最適化を変えなあかん。
あんたは「ミスが少なくなる」って言うたけど、俺が聞こえたのは「頼まれたことをより効率的にやるようになる」ってことや。
ここで二つのシナリオが考えられる。一つは、誰がこれをコントロールしてるかめっちゃ心配せなあかんってこと。俺はその力を振るう人間を信用できへんからな。
もう一つは、人工知能自体が暴走するかもしれんってことや。あんたはそれはないって言うたけど、後で話したいな。
とりあえず、暴走はないとして、ディストピアを避けるにはどうしたらええんやろ?歴史的に見て、権威主義的な支配っていうのは文字通り首根っこを押さえつけるようなもんやったけど、これからはみんなが操作されるようになる。
感情を利用されて、コントロールしやすい状態に置かれる。中国のソーシャルクレジットスコアとこれらのアシスタントを組み合わせたら、人生全部がゲーム化されて、権力者が決めた目標関数に向かって最適化されてしまうんやないか?」
「そうやな。だからこそ俺は中央集権モデルに反対してるんや。Stability AIでは、あらゆるモデルで最先端のものを作った。画像から動画、言語まで。エッジの言語モデルでも最高のものを作った。
これができるって示すために、Discordで50万人の開発者コミュニティを作って、3億回もダウンロードされたんや。
でも、今年の3月に自分で創業した会社を辞めたんや。たしかUSCのイベントで会うた時やったと思う。分散型の代替案を作らなあかんって気づいたからや。
新しい会社のShelling AIでは、教育、がん、健康、政府のためのモデルを作って、全部オープンソースにするつもりや。それに、全ての国のためのモデルとデータセットも作る。
規制された産業や、めっちゃ影響力のある分野では、これが必要になると思うんや。なら、俺らがやったらええやん?そして、ガバナンスを人々に返すんや。
分散型のガバナンスシステムとかも作ってる。スーパーコンピューター手に入れて、モデル作って、他の人らにも協力してもらうつもりや。
これをやらへんかったら、誰がある国の全ての政策の立場を分析するモデルを作るんや?誰が子供らを教育するモデルを作るんや?これ、めっちゃ重要やで。
なんでShellingって名前にしたかっていうと、ゲーム理論での「シェリングポイント」っていう概念があってな。合意点のことや。
本当に良質なモデルを作れば、標準になるんや。Stable Diffusion 1.5は今でも画像生成に使ってる人が大多数やろ?Minecraftのmodみたいなもんや。人々が周りに巨大なエコシステムを作り上げるんや。
使えるものを作って、Minecraft modみたいに人々が周りに巨大なエコシステムを作り上げるんや。一般的な知識、ローカライズされた知識、専門的な知識、これらのバリエーションを作る。
そしたら、学校システムや病院に導入するのも簡単になる。オープンソースの美しさは、許可がいらんことや。Stable Diffusionを使って画像生成の周りに何か作りたいなら、俺の許可はいらへん。Llamaも少し許可要るけど、言語モデルなら許可いらへん。
これで、AIファーストの教育ってどんなもんか、医療はどうなるか、みたいなことを考えられるようになる。これに取り組みたい人はようけおるし、いずれそうなるのは避けられへん。
でも、今のうちにデフォルトを設定できたら、代表制民主主義を実現できる。俺に思いつく唯一の方法やな。前の会社じゃできへんかった。複雑すぎたし、分散型のアプローチに合わへんかったからな」
「なんでそれが上手くいくか分からへんけど、ちょっと質問させてな。モデルに望ましい結果が含まれてるんか?」
「どの望ましい結果?」
「好きなように使える能力やな」
「ほな、AI界きっての思想家で、めっちゃ重要なビルダーの一人がおるわけや。お願いやから、俺が間違った考え方してるって納得させてくれるか、次のことを真剣に考えてくれへんか。
モデルのことはどうでもええんや。俺が気にしてるのは、それが生み出す結果や。例えば子供の教育やな。今の教育システムは、文字通り工場労働者を作るように設計されてるんや。これはめっちゃクソな結果やな。
ほな、子供の面倒見たり、飯食わせたりするのはうまくできても、工場労働者作るだけで、新しい問題を解決する能力を壊したり、そもそも発達させへんかったりしたら、俺は文句言うで。公立学校に子供送りたくなくなるわ。
これが結果なんや。俺が知りたいのは、あんたはどんな良い結果やと思うか、どんな指標に結びついてると思うかってことや。
例えば、KIPPスクールってのがあってな。めっちゃすごい話なんや。同じ子供らが、文字通り同じ校舎で、KIPPじゃない同級生と比べて、卒業率、識字率、数学、大学の学位取得率が信じられんくらい違うんや。その差がめちゃくちゃデカいんや。
これが結果や。AIモデルがこういう指標に結びついてたらええと思う。「これがモデルから期待される指標や」みたいなんがあったらな。
例えば、健康のAIやったら、平均寿命が5年伸びるとか。そうなったら、AIがうまく機能してるってことや。公表できて、みんなが合意できるような最終状態に導いてくれるんや。
逆に、後退させるようなら、どんなにクールで面白そうに見えても、望ましい結果出してへんってことやから、問題やと思う」
「分かるで。俺はこう考えてる。みんな違う望ましい結果を持ってるんや。でも、何が上手くいくかって共通の知識もあるし、それをシステムに統合するのをもっと早くせなあかん。
Stability AIでやったのは、まずデータセット作って、次に一般化されたモデル作って、最後に特化したモデル作ることや。Shellingでも同じようなことしてる。
GPT-4やStable Diffusionみたいなモデル訓練する時、「カリキュラム学習」っていうのがあってな。幼稚園から始めて、高校行って、大学行くみたいな感じで、どんどん特殊なことを教えていくんや。最後に特定の使用例に合わせてファインチューニングする。
俺の考えは、最初に基本的な部品を与えて、既存のシステムに統合し始められるようにすることや。その間に、フランスのための生成AI、シンガポールのための生成AI、教育のためのAI、医療のためのAIを作る専門チームを置いて、最初から最後まで再考する。
そうすれば、基本的な部品を使って、コミュニティや国のニーズに合わせてどんなシステムでも作れるようになる。そして、システム自体が何が一番良いか、何が上手くいって何が上手くいかないか学べるようにする。
これが一番パワフルなやり方やと思う。全部完全オープンソースで公開して、スーパーコンピューターの計算能力使って、分散型の安全な台帳にも分散させる。通貨も付ける。
これが、共通の公共インフラを作る最良の方法やと思う。使用制限がないから、最も広く普及するし、誰でも最適化できる。市場の力で超安く動かせるようになるし、実装のためのサービスや産業も生まれる。
デフォルトは設定できるけど、誰がデフォルト決めるんや?だから、ガバナンスが一番重要やと思うんや。あんたはリバタリアンで、俺はちょっと保守的かもしれんけど、マレーシアの教育システムとそこで使うモデルを誰が決めるべきなんや?
人類共通の一般的な知識、マレーシアの文化に特化したローカルな知識、教育がどう機能するかって専門知識、これら全部のシステムが透明で解釈可能であるべきや。だから完全オープンソースで、基準に合わせて作るべきやと思う。
でも、このシステムはテネシー州のシステムとは違うし、ニューカッスルのシステムとも違うやろ。だから、オープンで分散型のAIシステムを作って、学習できるようにせなあかんのや。でも、これらの基本的な部品から始めて、人々が実装できるようにする。これが、あんたの言うてる本当に大事なことを最適化しつつ、今あるものを改善する唯一の方法やと思うんや。
今の教育システムがこうなってるのは、変えるのが難しいからや。でも、「新しい学校作って、子供らに主体性教えるで」って言うても、どれだけ注目されて、採用されると思う?最小限やろ。
学校を少しずつ良くするモデルを導入しながら、全体を最初から最後まで再考するのと同時進行でやる。オープンで作って、人類共通のインフラとして一緒に作業するように人々を招待する。これの方がもっとパワフルやと思う。
なぜなら、教育システム内のデータがこれらのモデルに吸収されて、ちょっとずつスマートになっていくからや。これらのモデルを学校や医療システムに直接導入できて、全ての放射線データを分析して、ファイルからフローに移行する準備ができる。
だからこそ、オープンソースが一番ええ方法やと思うんや。あんたの病院に行って、全ての放射線データを見るモデルを導入するのに、プロプライエタリなモデルやったらめっちゃコンプライアンス面倒くさいけど、オープンで標準化されたモデルやったら簡単や。
放射線科の話やけど、スタンフォードと一緒に論文書いたんや。X線の画像診断で、今までで一番パフォーマンスのええモデルができた。これ、どんなタイプの放射線でもできるんやけど、誰もやってへんだけや。
でも、俺は避けられへんもんを作って、オープンに作って、オープンソースで無料で配布すべきやと思うんや。計算能力使って、分散型台帳も使う。検証可能性とか、事実確認とか必要やからな。
人々が教育受けるにつれて、アイデアや概念を見て、グローバルなデータセットに追加できるシステムを作る。誰でも使えて、共通の知識と専門知識を反映したもんや。
こうすれば、チームがこれらすべてに取り組んで、本当に基本的なレベルから見直すことができる。既存のシステムを改善するところから始めて、システム全体を再構築するところまでいける。でも、これめっちゃ難しいで。
これが、俺が考えついた唯一の方法や。オープンなインフラにせんかったら、モデルやシステムのデータと目的関数を誰が決めるべきかってガバナンスのこと考えんかったら、結局一つの中央集権的な権威になってまうからな。今のAIの方向性がそうやからな。代替案が必要なんや」
「ガバナンスをローカライズするってアイデア、めっちゃ理にかなってるな。人々にコントロールを与えるのも好きや。
でも、すべての国が俺の価値観、つまり人々を繁栄させる価値観を共有してるとは思えへんな。ちょっと見渡しただけでも、苦戦してる国がようけあるやろ。
彼らがAIを今の金融システムと同じように使わへんって考える理由がないんや。今の金融システムは、実質的に国民に対して使われてるからな。
すべての国が自分で決めるべきやってのは同意や。絶対に介入すべきやとは言わへん。でも、彼らのシステムが人間の繁栄につながってへんって思うのは止められへんな。これが俺の北極星なんや。
俺には4つの懸念があるんや。あんたの意見聞きたいわ。同意してくれるか、俺がおかしいって思うか。間違ってると証明されたいくらいや。でも、これは4つの方法でおかしくなる可能性があると思うんや。
すでに話したけど、コントロールしやすくなるってのが一つ目や。AIのおかげで、俺らはもっと簡単に操作されるようになると思う。あんたも中国のソーシャルクレジットスコアの話出したよな。
俺が思うに、中国はAIを使って、あんたの行動すべてを監視して、文字通り何を考えてるか推測するようになると思う。完全に1984の世界や。「不適切な行動をした」ってだけじゃなくて、「不適切なことを考えてる」ところまでいくと思う。
これは本当に怖いわ。これが一番現実的で、絶対起こると思う。AIが天才レベルになって暴走するって信じる必要もない。ただ、一度にめっちゃ多くのデータを読み取る能力があるってだけで、人々を操作できる。
単にクレジットスコアで操作するだけでもな。ビデオゲーム作ってる身としては、「ああ、スコアつけよう」って考え始めるけど、すぐに「うわ、これどうやって止めるんや」ってなるんや。とにかく、これが一つ目や。人々がコントロールしやすくなる。これはめっちゃ怖い。
二つ目は、AIが意志を持つことや。これは、あんたと俺で直感が違うかもしれんな。あんたは急激な進歩とかAIが暴走することを心配してへんみたいやけど。
今日ツイートしたんやけど、親が子供のコントロールを失うのは、子供の方が頭ええからやない。子供に自分の意志があるからや。自律性への欲求があるんや。
AIも同じように、他人が望むことに関係なく、自分の目標を達成したいって欲求を持ったら、めっちゃ大きな問題になると思う。
俺にとっては、アラインメント(AIを人間の価値観に沿わせること)に関する取り組みは全部、ここに焦点を当てるべきやと思う。AIが意志を持たんようにする方法、自分の目標を達成できんくても全然ハッピーなAIをどう作るか、これが解決策やと思う。
三つ目は、人間が無関係になってしまうことや。あんたも言うたように、タスクの50%がAIに置き換わるって。その50%の中には、意味とか目的の大部分が含まれてると思うんや。
絶望による死亡がすでに増えてるやろ。イギリスでは、40歳以下の男性の死因の第一位が絶望による死亡やって。めっちゃ怖い統計や。これが文字通り真実やないにしても、かなり近いはずや。
最後の四つ目は、人々が超孤立するってことや。AIとしか関係持たんようになるかもしれん。AIの方が良い友達で、批判的でないし、共感力も高いし、何でもうまくやってくれる。
そしたら、出生率が実質的にゼロまで落ちて、みんなロボットとセックスするようになる。これで終わりや。
これが俺の考える、地獄に向かう4つの道筋や。何か抜けてるか、あんたはどう思う?」
「ええ視点やな。最初のええことから始めたのは、人々に知ってほしかったからや。俺は本当に両面から見てるんや。でも、悲惨な結果を避けるには、これを見る必要があると思う。
実は、AIが実存的な脅威になる方法をもう一つ思いついたわ。俺が考える一番ありそうなシナリオや。
すべての人に一台ずつロボットが配られて、そのあとファームウェアのアップグレードが悪いもんやったら…なんてこった」
「まあ、それはありそうやな。中国製の監視カメラのセキュリティを見たら分かるで。ほとんど何でもハッキングできるからな。
ほんま、ロボットがファームウェアのアップグレード受けんようにせなあかんな。
ほな、一つずつ見ていこか。最後のんから始めよう。この断絶の話や。これはめっちゃ興味深い問題やな。
今でも、AIと深い関係築いてる人おるからな。声もついて、他のこともできるようになったら、もっと増えると思う。
実は、女性の方が男性より心配してるんや。男はあんまり話聞かへんし、共感性も低いからな。AIの男の方が絶対よく聞いてくれる。
でも、ポルノの流行とか、このディープな循環みたいなのもあるからな。これ、規制必要かもしれん。めっちゃ操作的で、お金儲けにもなるし、合法やからな。
スーパーAIのハニーポットみたいなもんや。社会にめっちゃ影響与えるはずや。特に子供らにな。若者が反乱起こすかもしれんな。何を信じるんやろ。
若者が何もすることなくなったら、普通は戦争起こるんや。これ、歴史上ずっとそうやった。若者をなくす一番ええ方法や。
これは本当に心配やな。AIは今までで一番重要な新しいコンピューター技術かもしれん。ほんま、シートベルト締めて準備せなあかんで。
問題は、AIはめっちゃ速度と処理能力必要なんや。コストがどんどん上がっていく中で、どうやって競争するんやろ。
Oracle Cloud Infrastructure (OCI)は、インフラ、データベース、アプリケーション開発、AIのニーズに応える単一のプラットフォームや。OCIは他のクラウドの4〜8倍の帯域幅があって、変動する地域別価格設定じゃなくて、一貫した価格を提供する。データに関しては、Oracleに勝るものはないで。
もっとやりたいけど、支出を減らしたいなら、Uber、8×8、Databricks、Mosaicみたいに、OCIの無料トライアルをoracle.com/Theoryで試してみ。もう一度言うで、oracle.com/Theoryや。
たぶん、これに関する規制が必要やと思う。どんな規制かは分からんけど、設計基準と倫理に関するものやと思う。
ガチャゲーム、つまりルートボックスのゲームあるやろ。あれには規制があるんや。めっちゃ中毒性があるからな。カジノもそうや。
この技術を使えば、めちゃくちゃ中毒性高いもん作れる。AIパートナーとか友達とか、こういうものに関する規制が必要かもしれんな。反社会的な行動避けるためにな。
でも、AIを使って社会性を促進することもできるで。あんたみたいな人とつながったり、あんたと違う考えの人とつながったり、もっと良いコミュニティ作ったりな。
イベントライトをAIでパワーアップさせたようなもんや。これは設計パターンの問題かもしれんな。規制が必要かもしれんけど、どうすればええか分からんわ。
ポルノの流行にどう対処するか、TikTokの流行にどう対処するか、そういう問題と同じやな。
中国のソーシャルクレジットスコアの方向に行く話やけど、政府はこのスペクトルの中で動くんや。政治的暴力の独占から、完全な正当性までな。
でも、政府は常に自分を永続させたいと思ってる。民主党が「共和党の方がうまくやれる」って言うことなんてあるんか?絶対ないやろ。
ほとんどの官僚制は、自分を永続させることが目的になってる。リスク取りたがらへんし、ただ続けたいだけや。
人間の繁栄とはズレてしまうんや。企業も政府も、遅くてバカなAIみたいなもんやと思うことあるわ。目的関数が人間の繁栄とズレてる。たいてい、ただ自分を永続させたいだけなんや。社会的地位とか、お金とか、そういうことのためにな。
今のイギリス見てみ。最近暴力あったやろ。フェイスブックの投稿で逮捕されて、投獄されてる人もおるんや。
中国のことなんて忘れてもええわ。イギリスでもう起こってるんや。似たような法律、世界中にあるで。
アラブの春の後、多くの政府が何したと思う?デモ参加者を顔認識で特定して、その家族を逮捕したんや。
この超パーソナライズされたものができるようになったら、ソーシャルクレジットスコアが下がるだけじゃなくて、似たようなスコアの人と一緒におったら下がるようになるかもしれんな。
思考犯罪みたいなもんや。習近平の教えのアプリあるやろ。あれ、本当に見てるかどうか、目の動き追跡してるんや。
でも今は、実際の生理的反応も追跡できる。精神的な反応も、無意識の反応も見れるようになる。あんたの話し方見てるだけで、ほぼ嘘ついてるかどうか分かるようになるんや。
これは間違いなく脅威や。政府はもっとコントロールしたがるし、もっと取り締まりたがる。
だからこそ、デフォルトを設定せなあかんのや。将来、政府を動かすシステムはどんなもんになるべきか。
最終的には、AIが政府を動かすようになると思う。AIの方が政治家よりうまくやれると思う人、多いんちゃうか。政治家自身でさえ、自分らがうまくやれてると思ってへんやろ。
でも、なんで政府があるんやろ?俺らを守るためやろ?でも、本当に守ってくれてるんか?時々そうじゃないかもしれんな。
暴動を起こす能力がなくなったら、どうなると思う?なんでアメリカで内戦起こるんやろ?なんで不安定になるんやろ?
普通、人口の12%くらいが変わったら、政権交代が起こるんや。バングラデシュで最近起こったようにな。権力構造が変わって、政府が変わった。シェイクハシナとカレダ・ジアが30年くらい交代で首相やってたけど、今回初めて新しい人になるんや。これもソーシャルメディアとかの影響やな。
テクノロジーの進歩で、こういう変化が不可能になるかもしれん。ハイパーターゲティングのせいでな。ちょっと「キャプテン・アメリカ/シビル・ウォー」みたいな感じやけど、現実的に考えたら、そっちの方向に向かってる気がするわ。
だから、設計の選択が必要なんや。政府がAIを実装するのはまだ先の話やけど、中国みたいなところは別やな。でも、こういうコントロールの多くは、ゼロサムかネガティブサムの考え方から来てるんや。「俺が力失うから、このテクノロジー使う」じゃなくて、「このテクノロジーで成長できる、国民を前に進められる」って考え方もできるはずや。
WeChat(中国)やIndia StackとAadhaar(インド)みたいな例を見てみ。コントロールにも使えるし、創造にも使える。経済を飛躍的に発展させることもできる。インスタント決済とか、運転免許証の情報がWeChat上にあるとかな。
テクノロジーってのは、たいてい両刃の剣なんや。この二つのことについて、あんたはどう思う?」
「意志を持つAIの話やけど、これについては二つの考えがあるわ。AIが意志持って人類殺すってのと、AIが意志持って「何これ?」ってなるのと。
市場では、企業に権利があるやろ。ワイオミング州では最近、DAOs(分散型自律組織)を作れる法律が通ったんや。理論的には、AIが組織や企業になれて、権利持てるようになる。人間が運営せんでも、勝手に動いていくんや。
今はめっちゃクレイジーに聞こえるかもしれんけど、これが当たり前になるんや。市場でAIと競争することになる。
政府や組織を遅いAIみたいに見てるんやけど、ビットコインもちょっとAIみたいなもんやと思うんや。人間をプロビジョニングして、今ではアルゼンチンやオランダと同じくらいのエネルギー使ってる。ビットコインは160テラワット時のエネルギー使ってて、世界中のデータセンター全部で360テラワット時や。
超最適化されたAIのこと考えてみ。一般的な知能はないかもしれんけど、じゃあ、AIが組織を動かすようになったらどうなる?AIに動かされない組織なんてあると思う?
これは避けられへんと思うわ。だからこそ、ガードレールが必要なんや。「悪いAIを止められるものは良いAIだけ」っていう考え方があるけど、それが現実になるかもしれんな。
例えば、俺の先生の一人でOG Deorreっていう人がおるんやけど、GitHubのCopilotプログラム作った人や。この前、人間を上回るペネトレーションテストのAI作ったんや。
ペネトレーションテストって、ソフトウェアシステムを攻撃するテストのことや。
でも、誰かがその反対側のものも作ってるはずや。これの唯一の解決策は、たぶん知的なAIシステムで守ることやと思う。
ハイパーパーソナライズされた電話とかの唯一の解決策も、たぶんあんたを守るAIやと思う。
市場の唯一の解決策も、あんたの個人AIやと思う。
意志を持つAIに対する唯一の防御も、自動マーケットメーカーとしてのAI、バランサーとしてのAIやと思う。
この自律的なAIの概念と、バランスを取るAIの概念は、あんまり話されてへんと思う。個人の生活のバランス、コミュニティのバランス、市場のバランス、社会のバランスを取るんや。
負荷分散装置が必要なんや。他に人間がAIに追いつく方法なんてあるんか?反対側のAIには追いつけへんで。
あんたが判断せなあかんのは、AIに知能の限界があると思うか、それともないと思うかやな。どう思う?」
「ベットせなあかんなら、知能はS字カーブを描いて頭打ちになると思う」
「どこで頭打ちになると思う?IQで言うたらどれくらい?」
「300か250くらいやないかな。たぶん300くらい」
「今のClaudeが大体100くらいって言うてたよな。ここから3倍になるってことは、アインシュタインが確か260か265くらいやったと思うけど、それより上ってことやな」
「たぶんそうや。標準的なテストで200くらいやと思うけど、それ以上やな」
「アインシュタインよりかなり賢くなるってことやな」
「間違いなくアインシュタインより賢くなる。アインシュタインも間違いいっぱいしたからな。人間やからな。
でも、AIが最も賢い人間と同じくらい賢くなるのは十分考えられる。でも、常にそうである必要はないんや。
アインシュタインの話してるけど、彼の統合する能力とブレークスルーを起こす能力のことやろ。でも、彼の人生でいくつブレークスルー起こしたと思う?オイラーとか他の天才たちもそうやけど、ダースくらいやろ。何千も何百万もやないんや。
巨大な実体化したAI、何百万のGPUで訓練されたAIのこと考えてるけど、本当は世界を変えるのに必要なブレークスルーって、どれくらいやと思う?
世界を変えるのに、ブレークスルーは必要ないんや。実際、世界を変えるために何をすべきか、もう分かってるんや。今ここにある知能以上のものは必要ない。必要なのは実行する能力や。
知能に関して言えば、そのブレークスルーは何の分野で起こるんやろ?
競争的なゼロサムの世界があって、ビジネスの洞察を得て、それに向かって進むってのはあるやろ。でも、普通ビジネスの洞察は資源の制約があるんや。
例えば、あんたの地域でホットタブやフローリングの競争がどれくらいあるか考えてみ。常に数人しかおらへんし、もう価格も低いから、常に適度なビジネスになるんや。大規模な経済崩壊でもない限りな。分かるやろ?
常に価値を見出せるポケットがあるんや。でも、AGIの議論って、常に天才的なひらめきを持つ巨大な神のようなAIの話になるんや。でも、そんなんあり得へんと思うんや。
でも、賢い人間と同じくらい賢くなる能力を持つことはできると思う。そして、巨大なコンテキストウィンドウとか、厳密な実行力とか、客観的に観察する能力とか、そういう面では人間より優れてると思う。
実は、AIはめっちゃ良い直感を持つと思うんや。これについて話せるかもしれんな。前の世代のAIは分からんかったからな」
「AIがどうやって直感を発達させるのか、俺には分からへんわ」
「前の世代のAIは、大量のデータと外挿に基づいてたんや。でも、この新しい世代のAIはそうじゃない。巨大なメインフレームで大量のデータを処理する必要がないんや。
例えば、GPT-4は多分10兆語くらいで、モデル自体は20ギガバイトくらいや。これ、ウィキペディアのアーカイブ(10億語くらい)より小さいんや。めっちゃクレイジーやろ。
これが何してるかっていうと、共通点や原則、コンテキストを見つけ出してるんや。例えば、投資家向けの四半期レビューを入れて、「これを80年代ヒップホップスタイルのラップにして、2Pacみたいに」って言うたら、すぐにやってくれるやろ。
どうやってそんなことできるんやろ?2Pacと80年代ヒップホップのコンテキストを埋め込んでるからや。意味を理解してるんや。
「カップ」って単語を画像生成器に入れたら、「カップ」「耳をカップする」「手をカップ状にする」みたいなのが出てくるやろ。リアルタイムの生成器見たら、「手をカップ状にする」って言うたら、そんな感じの画像になって、「水のカップ」って言うたら水の入ったカップになるのが見れるはずや。
これ、コンテキストを理解してるってことや。俺らが直感で何かするときって、どうしてるか考えてみ。メンタルモデルを作って、コンテキストを理解してるんや。
実際の例を挙げるとな、テスラの自動運転。昔は30万行のコードやったんや。でも今は、「拡散モデル」って呼ばれるものになった。これ、Stable Diffusionシステム開発するときに使った技術と同じや。テキストから画像生成する革命を起こしたやつや。今は動画モデルにも使われてる。
基本的に、画像や動画、例えばテスラのカメラからの運転映像を取って、物理学的なプロセスを使って最小の部分まで分解して、それを再構築する。そのプロセスがどう起こるか理解するんや。
そうすることで、コンテキストを理解する。自動運転の本質は、次に何が来るか推測することや。直感的に理解してるんや」
「なんでそれを直感って呼ぶんや?俺がAIの仕組みを理解してる限り、こんな感じやと思うんや。
パターンをめっちゃたくさん学習させて、「2Pacとラップ」って言われたら、大きなデータセットの中からその条件に合うサブセットを作る。そのサブセットの中でパターンを見つけて、次に来そうなトークンを予測する。
言葉を作り出したり、何かを直感的に理解してるように見えるけど、実際はただ「このサブセットのデータの中でパターンを見つけてくれ、ほらこれや」ってやってるだけやと思うんや。
あんたの話聞いてると、AIは意識があるって思ってるみたいに聞こえるんやけど、そうじゃないよな?俺の言葉を借りれば、潜在意識的なプロセスがあるって思ってるんやろ?
俺が直感を定義するなら、文字通り意識の下、つまり潜在意識で「おっ、体の一部が意識的には気づいてないパターンを見つけたな」って感じることや。
これ、AIで起こってることとは全然違うと思うんやけど」
「AIは潜在意識はあるけど、意識はないと思うんや。AIモデルを見てみ。モデルって何やろ?MP3とかMP4みたいなファイルやろ。論理的なプロセスのコードなんてないんや。もし〜ならこうする、みたいなんじゃない。
言葉を入れたら画像が出てくるみたいな感じや。直感を形成するのに必要なデータを見てみ。高次の皮質、つまりゆっくり考える推論する脳は使わへんのや。
今のAI、特に生成AIは直感をしてるんや。カーネマンの心理学者が言うてた、タイプ1とタイプ2の思考や。「思考は速く、そして遅く」って本書いた人や。
タイプ1の思考は直感的な思考で、タイプ2は論理的な思考や。遅いのが論理で、速いのが直感やな。
例えば、森の中に虎がおるのを見つけるのは速い思考や。小さな輪郭見ただけで「虎や!」ってなる。
一方で、「経験と訓練に基づいて、これが一番可能性高い方法やな」って考えるのは遅い思考や。
モデルを取って、例えば一般的な運転モデルを作って、プール近くの道路で訓練したら、プール近くの道路での運転が上手くなる。
俺にとって、これは一種の潜在意識的な直感や。コンテキストに基づいて次に来るものを推測してるんや。直感を形成するときと同じくらいの情報をコンテキストウィンドウに入れられるんや。でも、AIの方が人間よりもっと上手に直感できると思うわ。
例えば、「バービー×オッペンハイマー」のポスターがどんな感じになるか、なんとなく想像できるやろ。でも、今すぐGroに行って「バービー×オッペンハイマーのポスター、パラマウント制作」って入力したら、すぐに作ってくれるんや。
これ、意識的に考えて決めてるわけやない。「バービー オッペンハイマー ポスター パラマウント」っていう言葉の文字列が、重みの塊、1と0の塊、このMP3ファイルみたいなピクチャーファイルに入っていって、反対側から画像が出てくるんや。
論理的な思考は一切してへん。その中に重みとバランスと確率はあるけど、データベース検索してるわけでもないし、中間的なものを作ってるわけでもない。
これ、まさに人間の脳みたいなもんやと思うわ。ニューラルネットワークを構築して、情報が入ってきて、この速い思考で次に何が来るか直感的に分かるんや。ただ反応して、反射的に動くんや。
だから自動運転がうまくいくんや。テスラの自動運転もこの技術使ってる。次に何が来るか推測してるんや。いくつかの研究では、人間のドライバーよりも優れたパフォーマンスを示してるんや。
例えば、ドライバーが何かを感知する能力について最近研究があってな。人間は乳がんを発症する5年前から検知できるらしいんや。
トップの放射線科医のことを考えてみ。「何か変やな」って思って、掘り下げていくやろ。AIはそれを今すぐできるんや。
だから、今のAIがやってるのは全部速い思考やと思うんや。だからこそ、一番の課題は遅い思考をAIに導入することなんや。
カスタマーサービスのエージェントとか、そういうものを作ろうとすると、思考の連鎖とか他のことが必要になってくる。これが今、実際の研究テーマになってるんや。直感的すぎないように、もっとゆっくり、もっと徹底的に考えるようにする方法を見つけようとしてるんや。
この二つを組み合わせたら、どうなると思う?」
「それは本当に興味深いな。これらの問題が解決できるかどうか見てみたいわ。
これが、今のAIから3倍賢いAIを作る鍵になると思うんか?もしそうなら、どうやって訓練するんやろ?インターネット上の利用可能なものをすべて使い尽くしたとしたら、どうやってこれを3倍賢くするんや?」
「今、俺らはまだジャンクを訓練してるんや。インターネットはジャンクやからな。
最近、Microsoftが「Phi」っていうモデル作ったんやけど、これは教科書だけで訓練したんや。でも、インターネットのスナップショットを少し加えたら、パフォーマンスが良くなったんや。
俺にとって、これは本の虫と実世界に生きてる人の違いみたいなもんや。教科書だけで育ったらあかんのやな。
でも、これらのAIに必要な「食べ物」がどんなものか、まだ分かってへんのや。でも、だんだん理解できてきてる。
Stable Diffusion作ったとき、インターネットから20億枚の画像が必要やった。ウォーターマークついた画像とかグロい画像は除外したんやけどな。でも、誰かが2500万枚の画像で同じパフォーマンスを達成したんや。
ニューラルネットワークのどの部分が最もよく反応したかを見て、データの99%を捨てられることが分かったんや。
これ、文系の大学生みたいなもんやと思うわ。どんなカリキュラムを与えるべきか?もっと良いデータを与えれば、もっと良くなる。
それから、再帰的に自己改善するためのフィードバックループも必要やな。
例えば、Apple Intelligenceってのがスマートフォンに登場したんやけど、これは30億のパラメータを持ってる。たぶんGPT-4の2〜3ギガバイトのファイルくらいやな。
それに、個別のトピック領域用の「アダプター」ってのがついてる。これ、LoRAって呼ばれてる。一般的な知能と、ノートテイキングとか特定の領域の知能があって、AIの訓練コースみたいなものを切り替えられるんや。
近いうちに、再帰的に自己学習して、あんたに適応する能力を持つようになる。あんたの理解に基づいてデバイス上で訓練できるようになるんや。
画像サイトで顔を学習させて、「はい、トムのモデルができました。さあ、宇宙飛行士になったり犬になったりしましょう」みたいなことができるようになるんや。
次のステップは、直感するだけの基本モデルから、再帰的なファインチューニング、適応、コンテキスト(つまり指示)の自動生成の増加に移行することや。
そして今、エージェント型AIのためのモンテカルロ木探索に大きな焦点が当たってる。これは、AIがDota 2やAlphaGoで人間を打ち負かすのに使われた種類のAIや。
コンピューターゲームのルールを与えて、自分自身と対戦させて、そして人間を打ち負かすんや。任意のゲーム、アタリのゲームやファミコンのゲームでも遊べるようになった。
でも、これはちょっと下火になったんや。AIに常に負けるのはちょっと嫌やからな。インターフェースも遅くて、コンピューターがゲームに直接つながってるわけやないから、ほとんど人間のように手動で応答せなあかんかったんや。
その場で学習せなあかんかったし、ゲームの歴史すべてを知ってたわけやないんや。でも、どんどん上手くなっていったんや。
それから、この深層学習の段階があって、巨大なモデルと巨大なデータの訓練が全てやった。でも、まだデータを最適化してへんし、今は再帰的な自己改善の段階や。
最近、学術論文を書けるものがいくつか出てきたんや。仮説を立てて、テストして、異なるモデルに異なることを試させるんや。これ、普通の社会や普通のチームを反映してるんや。
これが次の波や。再帰的に自己改善するAIが来年くらいに登場するはずや。自分の欠点を自己修正して、学習するんや。
これで300くらいまで行くんやけど、ほとんどの場合300も必要ないんや。100あれば十分や」
「そこは同意できへんかもしれんな。でも、なんで再帰的な自己改善が300で止まると思うんや?そこで止まる理由が分からへんわ」
「だって、テストのスコアが上限に達するからや。それに、知能って何やろ?新しい問題を解決する能力やろ?人生で新しい問題ってどれくらいあるんやろ?
あんたと俺、ここでちょっと定義が違うかもしれんな。AIが本当に世界を変えるのは、今の方向性のままでも、インターネットみたいに俺らの生活を変えるってことやと思う。
でも、本当に自由になって、ユートピアかディストピアのチャンスを掴むには、人間が今まで思いつかなかったようなブレークスルーを起こせなあかんと思うんや。
俺の今のAIの理解では、ただのパターン認識マシンやと思うんや。つまり、俺らの目の前にあるけど誰も気づいてないパターンがない限り、ネットをクロールして、本を読んで、俺らが世界中を動き回るのを見て、「おっ、こんなパターン見逃してるで」ってことは絶対ないと思うんや。
それはたぶん永遠に起こらへん。でも、ブレークスルーができるかどうかに関係なく、俺らよりもっと多くのデータを取り込めるようになる。だから、がんを5年早く見つけられるようになるんや。複雑な要因が重なってるからな。でも、それでもまだただパターンを認識してるだけやと思う。
アインシュタインレベルのブレークスルーを起こすには…俺には何を探せばいいのか分からへん。人間でもそれは魔法みたいなもんやと思う。AIで何を探せばいいのか、さらに分からへん。
再帰的な自己改善からそこには到達できへんと思うんや。俺が知能について話すとき、例えば「宇宙の遠くの星に行くために空間を曲げる必要がある」みたいな、めっちゃ新しい問題のことを言うてるんや。
人間として、俺らはまだそれができへん。数学が理解できへんからか、俺らが存在する基盤が理解できへんからか、何か重要なことを見逃してるからやと思う」
「そうやな、科学は前のものの上に積み重なっていくもんや。時々、同時に起こるブレークスルーもあるけどな。例えば、情報理論のブレークスルーとか、材料科学のブレークスルーとかな。
AIの統合能力と構築能力を見てみ。さっき言うたように、バービーとオッペンハイマーのポスター、パラマウント制作っていうのを数秒で生成できるって。あんたはびくともせんかったやろ。でも、これデータセットには存在せえへんのや」
「でも、そこは反論させてもらうわ。反論したいわけやないし、説得されたいんやけど、バービーとオッペンハイマーのポスターができる理由は、両方とも識別可能で説明可能な「ルックス」があるからやと思うんや。
これは単に視覚的な「モチーフ」のことや。つまり、パターンのことやな。バービーには、カラーパレットから角度の選び方、キャラクターのタイプ、ポーズの仕方、髪型まで、パターンがあるんや。それがバービーたらしめてるんや。
オッペンハイマーも同じや。「シンプソンズ風のバービー×オッペンハイマーのポスター作って」って言うこともできる。これらはすべて、識別可能な「ミーム的」なスタイルがあるからや。
これが、誰かの物まねができる理由なんや。その人の特徴的なことを繰り返すと、脳が「あ、トランプの喋り方や」って認識するんや。だからトランプの物まねができるんや。
俺が言うてるのは、AIは俺がパターンに分解できるものなら何でもできるってことや。確かにすごいし、驚くべきことやけど、アインシュタインが理論を思いついた方法とは違うと思うんや。アインシュタインの理論はパターンに関係なかったんやと思う」
「ここでAIが帰納的に使うってことやと思うんや。バービー×オッペンハイマーのポスターを作れるのを当たり前のように思ってるやろ。確かにパターンがあって、スタイルを真似てるんやけどな。
最近、DeepMindが新しいAIモデルについての論文出したんや。国際数学オリンピックの問題を盲目的に解いたんや。これ、大学入学前の最も頭のええ数学者らが集まって解く問題やで。めっちゃ難しいんや。
これ、「Silver」って呼ばれるエージェントベースの自己再帰学習システムを使ってる。これらの問題を解くには、本当に難しい推論が必要なんや。でも、そんなに計算量多くなくても、データにない新しい問題を解けたんや。
帰納的推論が必要で、数学の基本的な考え方の理解が必要なんや。OpenAIもGoldってのがあるって言うとるな。
ここで重要なのは、これらのことを解くのに使う計算量が、実際それほど多くないってことなんや。モデルの訓練にはこれくらいの計算量使うけど、その後は消費者向けのモデルにするんや。
GPT-4は基本的にMacBookで動くんや。めっちゃメモリの多いMacBookやけどな。
もし、何百万ものエージェントを使うモデルを作って、訓練に使ったのと同じくらいのエネルギーを問題解決に使ったらどうなると思う?特に新しい問題にな。エネルギーをたくさん使えば使うほど、問題を解く可能性は高くなるんや。特に、試したことすべてを常に覚えていられるならな。
テレンス・タオっていう、この世代で最高の数学者の一人がおるんやけど、めっちゃ天才なんや。彼は今、毎日AIをパートナーとして使って、新しい数学を考えてるんや」
「へー、それどうやってるか知りたいわ。GPT-4だけじゃないよな?カスタムモデル作ったんか?何かせなあかんことあったんか?」
「GPT-4使ってるんや。すべての仮定を与えて、コンテキストの長さを使って、フィードバックをもらって、新しいことを試してるんや。
彼のレベルで話せる人なんておらへんからな。でも、GPT-4は数層のこの大きな絵を考えることができる。彼には自分の能力があるけど、スパーリングパートナーが必要なんや。
でも、GPT-4の話聞いたやろ。OpenAIの新しいQ*やイチゴの話とか。エージェント型のワークフローを持つやつや。みんな作ってるんや。
これは覚えていられて、改善できて、問題を解くのにどれだけの計算予算を使いたいか設定できるようになる。人間のパワーを加えるのと同じようにな。
でも、科学者を12人部屋に入れたらどうなると思う?何も起こらへんやろ。みんな意見持ってて、エゴがあるからな。でも、これらのAIにはエゴがない。
最初のステップは、さっき言うた直感みたいなもんや。バービー×オッペンハイマーみたいな。あるいは、このコンテキストシフトとかパターンマッチングみたいなもんや。
次に帰納的推論、ゆっくり考えることがある。これらを組み合わせて、時間をかけることを許すと、ソフトウェアの一種みたいになるんや。
普通、GitHub Copilotみたいなコード書くソフトウェア使うと、すぐに結果出るやろ。でも、Devinっていうのがあって、iPhoneアプリ作ってって言うたら、7時間か8時間かけて、何十ものクエリを実行して、エージェントを使う前でも、作り始めて、いろんな部分をチェックし始めるんや。
例えば、バービー×オッペンハイマーのポスター。今はただ生成して、うまくいくかもしれんし、いかへんかもしれん。でも、未来はこうや。「バービー×オッペンハイマーのポスター作って」って言うたら、「ほな、Fが好きそうなものと、このコンテキストをだいたい知ってるから、画像生成して、一貫性チェックして、校正して、カラーパレットの最適化もするで」ってな感じになる。
知識の全体的な流れができるんや。これが、その超知能、つまり300のIQに到達する未来や。新しいレシピとか新しいブレークスルーを作るのに必要になるかもしれんな。
たぶん、あんたと俺の主な意見の相違は、俺が世界中で使われるAIのことをめっちゃ考えてるってことやと思う。300のIQのAIもあるやろうけど、大多数は110か120くらいになると思う。それで十分なんや。
これらは実行マシンになるんや。だから、これが必要な段階やと思うんや。今まで脳の一部しかモデル化してへんかったからな。他の部分と組み合わせんとあかんし、世界で最も賢い人たちが一緒に働くのと組み合わせんとあかん。
天才一人はすごいけど、すごいチームの方がずっと物事を成し遂げられるからな。そして、無限に追加できるんや。技術的には、これらのモデルのコンテキストウィンドウに入れられる量に制限はないんや。誰かがそれを解決したんや。
エネルギーの量にも制限ないんや。例えば、高速で軽い旅行の解決に、今のGPT-4と同じくらいのエネルギー使ったらどうなると思う?今はそこまでいかへんけど、5年か10年後にはいけるかもしれんな。
物理学の基本を徹底的に分析して、すべての物理学の論文を分析して…さっき言うたように、話す…」
「GPT-4とか同等のものを使って、新しい数学を見つけるのを手伝ってるって聞いたら、俺がやってるよりずっと複雑なことができるってことやな。コンテキストウィンドウをうまく使えてないってことやろうな。
本当に効果的なコンテキストウィンドウを作るコツは何なんや?」
「それは、あんたのアシスタントか、知的にスパーリングする相手みたいに扱うことやな。指示を与えて、それを繰り返して改善していくんや。
新しく雇った人に指示するとき、やることの文脈を理解してもらわんとあかんやろ。あんたの仕事のやり方とかな。フィードバックについて学んでもらう。
そのフィードバックをAIに与えんとあかんのや。でも、これは普通短いコンテキストの話や。ほとんどの人がChat GPTやAnthropicのClaude、Geminiを使うとき、めっちゃ少ない量のデータしか使ってへん。
でも、5万語とか100万語の指示を与えることもできるんや。テレンス・タオみたいな人は、ブレークスルーのために使うんやないんや。なんで新入社員や大学院生にブレークスルーを頼るんやって感じやろ。
俺が経験豊富で、すべての文脈を知っていて、最高のパフォーマンスを出してるんや。それを使って、考えを外に出して、それを跳ね返してもらうんや。俺の指示に従って返してくれるし、たまに何かを直感的に理解したり、5つの違う方法で探ってくれたりするかもしれん。
これはどんどん良くなっていってる。これらのモデルのパフォーマンス統計を見たらわかるで。例えば、AnthropicのClaude 3.5は、初期の頃から使って本当に楽しいと思えた最初のモデルの一つやな。
俺はプログラミングのバディとして使ってるけど、今まで一緒に仕事したどの大学院生のプログラマーよりもええと思う。でも、その前はちょっとアレやったんや。
でも、この経験はどんどん良くなっていくで。特に、今はほとんどタダみたいになってきてるからな。昔は100万語で150ドルくらいかかってたけど、今は15セントくらいや。
でも、その100万語が80のIQから100以上になったんや。」
「エマド、アイデアをこうやって行ったり来たりするのめっちゃ楽しいわ。時間取ってくれてありがとうな。みんなどこであんたとつながれるん?」
「TwitterかSubstackで俺のことフォローしてくれたらええわ」
「ええな。みんな、中国の呪いにもあるように、面白い時代に生きてるで。ほんまに面白い時代やな。
この会話気に入ったなら、この回も聞いてみてな。もっと学べるで。
今日の世界には二つの未来がある。マッドマックスの未来かスタートレックの未来や。AIに移行するとき、絶望の谷を通ると思う?それとも、まっすぐユートピアに向かうと思う?」
「いや、大きな混沌とした絶望の谷はあると思うで」
コメント