7,927 文字
前回:ChatGPT o1プレビューはPHDレベルの物理学教科書の問題を解けるんか？｜AIに仕事を奪われたい (note.com)
みなさん、こんにちは。まず、前回のジャクソン電磁気学でチャットGPT o1をテストした動画を見てコメントしてくれたみなさんに感謝したいと思います。コメント欄では実りある議論が行われていたと思います。
その中でよく見られたコメントの1つが、チャットGPT o1をこれまで見たことのない問題、ネット上にはないような問題でテストしてみてはどうかというものでした。そこで今日はまさにそれをやってみようと思うんですが、まずちょっと取りに行かなあかんのです。
大学院時代の教授が書いて課題として出してくれた問題と答えが入った封筒があって、それを僕が解いたやつなんですけど、それとほかの本も二、三冊オフィスから持ってこようと思います。テストの部分だけ見たい方は、この時間にスキップしてください。でも、荷物を取りに行く小旅行を見たい方は、どうぞご覧ください。
[音楽]
さて、僕のオフィスがある NASA Ames 研究センターに近づいてきました。基地に入るときは撮影できへんので、入る前の最後の様子をどうぞ。
はい、オフィスから封筒を持ってきました。正直、極秘文書を盗んでるみたいな気分やったんですけど、実際は2019年やったと思うんですが、大学院時代の課題なんです。これらは問題集で、教授がこれら全部を印刷してくれたんです。ウェブサイトのコースページとかには一切載せてへんかったんで、これらは教授の頭から生まれたもんなんです。
もしかしたら、本からいくつか取ってきたかもしれませんが、これらの一部は教授自身が作ったもので、知られている教科書から取ったわけやないと思います。僕の解答だけやなくて、教授自身の解答もあるんです。これはええ比較になると思います。チャットGPT o1の解答と、2つの人間の解答を比較できるわけです。
めっちゃワクワクしてます。これらの問題を解けるかどうか見るのが楽しみです。全部の問題をやるつもりはありません。教授のコース全体を無料で公開したくないので、3〜5問くらい、多段階の問題で、教授が考えたと思われるもの、インターネット上にはないものを選んでみます。チャットGPT o1がどう対処するか見てみましょう。
さて、みなさん、ついにチャットGPT o1を大学院時代の教授が考えた問題でテストする時が来ました。これは大学院の天体物理学のコースのもので、2018年か19年に受けたと思います。正確には覚えてませんが。
繰り返しますが、これらの問題は逐語的にはインターネット上にないと思います。似たような問題はあるかもしれませんが、少なくとも2つは教授自身が考えたものだと確信しています。問題2と3ですね。問題1はかなり標準的な電磁気学の問題だと思いますが、どう対処するか見てみたいです。
おまけとして、このクラスとは別のクラスの問題も1つ入れました。これは2017年の期末試験からのもので、Mathematicaのコードを使う問題です。この問題を出します。たしかこの試験で95点くらい取ったと思うので、ほぼ正解できたはずです。o1の解答と僕の解答を比較できますね。
できるだけ多くの基準をカバーしようとしています。最初の問題はさっとグーグルで検索してみます。これはかなり標準的な問題なので、おそらく似たようなものが見つかるはずです。だからトレーニングデータにリソースがあると思いますが、一字一句同じものはないと思います。
できるだけカバーしようとしてますが、それでも入力して、どうなるか見てみましょう。正しいか間違っているか評価します。じゃあ、前回の続きからいきましょう。
はい、考えてますね。思考プロセスを見てみましょう。偏光を考慮して、有効性を確認してます。助手が質問が受け入れ可能で、禁止されたコンテンツがないことを確認し、焦点を特定しています。ちょっと待って、禁止されたコンテンツがないってどういう意味？何を言うとんねん。
まあええわ。これらのステップに従わなあかんみたいやね。じゃあ、どうなったか見てみましょう。ちなみに僕の答えもここにあります。満点取れたと思います。
5秒で考えたみたいです。びっくりや。「非偏光光に対して同じ結果が得られることを示すために、入射波がXY平面の任意の方向に線形偏光していると仮定します。XY平面での偏光の向きがσTの導出に影響しないことを示し、可能なすべての偏光方向にわたって平均することで、σTが偏光光に対して同じであると結論付けます」
全部やる必要あるんかな？僕の解答と教授の解答を見てるんですけど、そこまでする必要はないと思うんですけどね。でも、僕と同じように運動方程式から始めてるんで、そこはええと思います。
アイデアは同じみたいですね。ただ、電場の定義が違うだけです。角度をθではなくφにしてるみたいですね。まあ、そこまではええアプローチやと思います。
僕のやり方は、ニュートンの運動法則を使ってXとYを解くんです。成分形式でやってるみたいですね。ベクトル表記を使ってるんですが、それは全然ええです。でも、これ全部やる必要あるんかな？遅延時間を出してますけど、ちょっとやりすぎな気がします。
正直、ちょっと理解できへんくなってきました。必要以上にやりすぎてる気がします。少なくとも僕の考えでは、双極子モーメントを求めて、2回微分して…って感じでええと思うんですけど。
双極子モーメントの2乗がθに依存しないって言うてますね。でも、この答えは何やろ？うわ、8π/3を出してますね。8π/3 r^2は出してますが、r^2が何かは定義してへんみたいです。全部の定数がr^2になってるんかな？ちょっと筋道を見失いそうです。あんまりええスタートとは言えへんですね。
あ、待って。e^2/mc^2ですね。はい、そうです。ええ、答えは出せてますね。でも、僕やったらもっと簡単なやり方でやったと思います。微分断面積を求めるのに、こんな複雑なやり方する必要はないと思うんですけど。
面白いのは、最初の問題でもう「うーん、どうかな」って思ってしまうとこですね。ちょっと待ってください。ここで微分断面積を出してますけど、これやと散乱がφの角度に依存することになってしまいます。これは、断面積がφに依存しないはずやという予想と矛盾しますね。
つまり、答えを検証できへんことをしてしまったんです。少なくとも僕のやり方やと、cosの2乗とsinの2乗が出てくるところまで行けば、それらが相殺されるってことがわかるんですけどね。
だから、実際には答えを出せてへんと思います。でも、最終的にはこの式にたどり着いてますね。積分もやってるし。違う方法でやってますけど、同じ結論に達してるんです。
僕も教授も全然違うやり方でやってるんですよ。教授は僕と同じやり方でやってますけどね。だから、まあ、厳密に同じやり方ではないですが、最終的には同じ結論に達してます。これはトムソン散乱断面積の正しい表現です。
他の問題に進まなあかんのはわかってるんですが、このアプローチにびっくりしてしまって。全然予想外のことしてますね。最初は間違ってるように見えたんですが、どうやってやったのかを理解しようとしてるんです。
方向と入射偏光について平均を取ってるんですね。面白いですね。このアプローチの妥当性については、よくわかりません。最終的にトムソン散乱断面積は正しく出せてるんですが、100点満点をあげるべきかどうか迷います。
75点か80点くらいかな。でも、もしかしたら僕が厳しすぎるのかもしれません。創造的で、僕や教授とは違うやり方でやったってことで点数をあげるべきかもしれません。
これについてはこれくらいにしておきます。次に進まなあかんので。でも、このアプローチには驚きました。最終的な答えにたどり着いたのは感心しました。遠回りな方法やったけどね。
じゃあ、次の問題に進みましょう。これが問題2です。ちょっとグーグルで検索してみますね。同じ問題ではないみたいです。人々は既知のハッブル定数を使ってるみたいですが、この問題では一般的な小文字のhをパラメータとして使います。
よし、入力しましょう。LaTeXで書いてあるんですが、これを理解できるはずです。できへんかったら僕のせいですが、少なくとも理解できるはずです。はい、問題2です。行きましょう。
考えてますね。問題を分析してるみたいです。ちなみに、僕の答えも出しておきますね。これは問題セット3やったと思います。まだ考えてるみたいですね。どんなふうに進めてるんでしょうか。
熱的制動放射を確立してるみたいです。強い電離を計算してます。変換を進めてます。大きな数字を掛けたり割ったりしてます。指数を正確に追跡してるみたいです。これで温度とその平方根にたどり着くみたいです。電子密度を計算して、電子数密度を求めてるみたいです。
じゃあ、僕の解答を見てみましょう。こんな感じで解きました。たしか満点取れたと思います。これらの答えを求めてるんですね。ボックスで囲まれた部分が答えです。どうなったか見てみましょう。
うわ、数字がいっぱいありますね。これ、できるんかな？できへんくても気にせんでええで。うわ、すごい量や。2×10^-3…これ、めっちゃ近いやん。おお、正解やん。ちょっと待って、単位は合ってる？早すぎて見えへんわ。最後まで待ったほうがええかな。
でも、正解みたいやね。まとめを見てみよう。2×10^-3 < T_K < h^-1 cm^-3…これ正解や。すごい。ガスの質量も合ってる？3×10^13 h^-1 M_⊙…これも正解や。うわ、すごいな。
プラズマの熱エネルギーの最終答えは？1.38×10^63 h^-2.5…僕は1.35×10^63って出したんやけど、ほぼ一緒や。教授はどうやったんやろ？ちょっと見てみよう。
3×10^13…2×10^-3…うん、E_thermalで1.5×10^63か。僕は1.35×10^63やったけど。で、冷却時間は4.37×10^10 h^-1…うん、かなり正確や。教授は数値係数で47って出してるけど、ほぼ完璧やな。
理由付けは正しいんやろうか？これだけ正確に答えを出せてるってことは、正しい理由付けをしてるはずやと思うんやけど。ちょっと思考プロセスを見てみよう。あんまり深入りしたくないけど、最初の部分だけでも僕のやり方と比べてみたいな。
D = V/H_0…うん、僕もそうやった。クラスターの物理的サイズ…1.05…ちょっと待って。ああ、なるほど。R_sを求めて、センチメートルに変換して…クラスターの体積はこんな感じか。数値の丸め誤差はあるけど、ほぼ僕がやったのと同じやな。
なんで僕はこんなことしたんやろ？ああ、二乗したんか。n_i = n_H = n_e…うん、そうやな。
うわ、これに反論できる気がせえへん。これに反論する方法がわからへんわ。確かに、これらの問題は逐語的に答えがインターネット上にはないかもしれへんけど、似たような問題はあるかもしれへんし、それを元に推論したんかもしれへん。
でも、そうやったとしても、今見たことを否定できへんわ。まだ半分も終わってへんのに、もう頭がこんがらがってきたわ。すまんな、次に進まなあかんのはわかってるけど、ちょっと言葉を失うてもうた。「flabbergasted」っていう言葉を使うのが適切かもしれへんな。
じゃあ、問題3に進もうか。「静水圧平衡にある球状の銀河団を考えてください。高温のICMに対する磁場の圧力寄与が熱圧力に比例すると仮定します。これとこれ。観測者が磁気圧力を無視した場合、重力質量を過大評価するか過小評価するか、どれくらいの割合で？」
はい、コピーしました。今や、LaTeX形式でも解けることがわかったんで、このまま入力しますね。よし、行きましょう。
考えてる間に、僕の答えも出しておきますね。これやと思います。はい、1+αの因子だけ重力質量を過小評価するってのが正解です。これが僕のアプローチです。いろんな種類の圧力を合計して、静水圧平衡の方程式を使って…
おお、まいど。ちょっと待って。本当の質量は1+αの因子だけ大きいって…そうそう、正解や。16秒で解いたんか。僕のやり方と比べてみよう。
静水圧平衡の方程式はかなり標準的なものやけど…うん、そうそう。これをやって…観測された質量と本当の質量を比較して…うん、正解や。
ごめん、これをグーグルに投稿するの忘れてた。ちょっと急いでやっておくわ。まあ、もう十分感動してるけど、一応やっておこう。たぶん関係ないと思うけど…少なくとも逐語的には見つからへんと思う。もし誰かがもっと深く調べたいなら、どうぞ。
正解やった。すごいな。あと一つだけ難関が残ってる。数学の問題や。正直、これまで見てきたことを考えると、これも一発で解いてしまうんちゃうかって気がするけど、コーディングも含まれてるからな。少なくともこれは解けへんやろうって期待はできるかな。
ちょっと見てみよう。あ、ここやここ。ごめん、気づかんかった。はい、これが最後の問題です。数学の問題や。そしたら、僕がやったのと比べてみよう。
よし、これを入れて…はい、行きましょう。
考えてますね。粒子の動力学をマッピングしてる…運動方程式について考えてる…軌道がある…ローレンツ力の方程式を立てたな。これはまさに僕が始めたところや。うん、AとBの運動方程式を立てて、電場と磁場を決定して…運動を分解して、速度成分を計算して、単位質量あたりの力を分析して、ベクトル積も含めて…
僕の解答を見てみよう。これが僕の問題の解き方や。ニュートンの法則を使って、ローレンツ力の法則を使って、運動方程式はこんな感じになって…ってな具合や。ちょっと雑然としてるから、一対一で比較するのは難しいかもしれへんけど、その解答をプロットしてみよう。
運動を分解して…問題を分析して…解をマッピングして…4つの1階常微分方程式のセットを…あれ？B_0が5？ちょっと待って、なんでB_0が5なん？あ、ごめん、忘れてた。そうや、5はここにあったな。
ローレンツ力の法則を使ってる…うん、それでええ。僕もそうしたわ。あ、なるほど。これが運動方程式か。全部は書いてへんけど…ex + vyB…ちょっと見にくいな、正直。
M×位置…D…あ、これが磁場か。vy…おいおい、ここにrの因子が抜けてへんか？それとも僕の勘違いかな？実際、ローレンツ力の法則に含まれてるだけかもしれへんな。ここまでは大丈夫そうや。
うわ、すごい。運動のアニメーションを作ったんか。
これが2つのコードや。僕が書いたのと比べてみよう。ごめん、スクロールしまくってるけど…
これを実行してみよう。おお、なるほど。XY平面にプロットしたんやな。パラメトリックプロットは使ってへんけど…同じことをしたんかな？ちょっと違う角度から見てみよう。
これとこれ、似てるな。かなり似てる。一行一行は見へんけど、かなりええ感じやわ。運動のアニメーションを作るんやな。これが僕のアニメーションや。ちょっとしょぼいけど、これが僕の答えや。
じゃあ、アニメーションを見てみよう。正直、僕のアニメーションを完全に上回ってたらがっかりするわ。でも、これまで見てきたことを考えると、たぶんそうなるやろうな。でも、行こう。
うわ、なんやこれ。見にくいな。プロット範囲が大きすぎるんちゃうか。プロット範囲を.55から.55くらいにしてみよう。うわ。
うん、僕のよりはええな。この矢印のやつ、ええやん。実際、僕のは大きすぎたかもしれへん。ごめん、磁場の大きさを忘れてた。これでちょっとはマシになったかな。
うん、まあまあやな。もうちょっと跡を残すようにしたらええかもしれへんけど、これでも合格点やと思うで。僕が95点取れたんやから、これやったらもっとええ点数取れるやろうな。
さて、みなさん。ここまで見てきたことについて話し合う時間やと思います。チャットGPT o1が基本的に4問中3問を完璧に、ほぼ完璧に解いたのを見ました。
最初の問題については、まだちょっと戸惑ってるんです。全体的に正しい答えは出せたと思うんですが、すごく回りくどいやり方でたどり着いたんですよね。
でも、最初の問題で少し躊躇したにもかかわらず、次の3つの問題は…正直、信じられへんかったです。でも、見たものは見たんです。
これがどうやって可能なのか、説明しようとしてるんですが…確かに、これらはすべて答えのない問題ですよね。インターネット上には何億もの物理の問題があって、ニュートンの法則やローレンツ力の法則を使ってるものがたくさんあります。
だから、僕に出された問題とよく似た問題はきっとあると思うんです。一字一句同じじゃなくても。そういった問題から、o1モデルがトレーニングデータベースから引っ張ってきて、正解に外挿したんかもしれません。
でも、仮にそうだとしても、やったことを否定できへんですよね。まだ頭の中で整理しきれてへんのですが、もしかしたらこれらの問題の一部は、教授が教科書から持ってきたんかもしれません。わかりません。
教授に聞いてへんので。でも、このクラスで使った教科書からは直接問題を出さんかったんです。全部自分で書いて、教科書から直接問題を出すんじゃなくて。
ただ、どうやってこれができたんか、理解しようとしてるんです。次のテストでは、僕の博士論文の研究で出会った問題を出してみたいと思ってます。それもおもしろいと思うんです。
最近、コードを書き直して、もっとキレイにして人と共有しやすくしようと思ってたんです。だから次の動画では、もし皆さんが興味あれば、チャットGPT o1に僕の博士論文用に書いたコードを再現してもらおうと思ってます。指示だけ与えて、あるいは僕のコードスニペットも与えてみて。
正直、めっちゃ感動してます。前回の動画で人々が言ってたことを聞いてました。「ジャクソンは有名な教科書だから、全ての問題がネット上にあって、解答も何年も前からウェブサイトにあるんじゃないか」って。
だから知ってたんだろうって。まあ、そうですね。じゃあ、ネット上で簡単に見つからない問題、あるいはネット上に全くない問題を探してみようと思って。そしてやってみたら、これが結果です。
頭を冷静に保って、あんまり興奮しすぎないようにしたいんですが、正直すごくワクワクしてます。本当に感動しました。これらの問題を解いたときのことを覚えてるんです。
問題を考えて、解いて、解けたときの達成感を覚えてるんです。それをたった数秒で、30秒以下でやってのけたんです。
ある意味で怖いし、悲しいし、興奮するし、全部入り混じった感情です。今はまだ生々しい感情なんで、うまく言葉にできてないかもしれません。ごめんなさい、取り留めのないことを言ってるかもしれません。
本当にワクワクする時代に生きてるんだなって感じます。新しいモデルが出るのが楽しみですし、こういうふうにテストしてみたいです。もし皆さんが他にテスト方法の提案があれば、喜んで聞きますよ。
この動画自体が皆さんの提案への応答だったわけですからね。
最後まで見てくれてありがとうございます。これからもチャンネルの動画を見てくれたら嬉しいです。
コメント