5,566 文字
CLAの3.5 Sonnetの新バージョンが出たんやけど、全てのベンチマークですごいええ成績出してんねん。もちろん、わいらも自分で試してみるで。
まず、Claudeモデルはもともとコーディングが得意やったんやけど、今回はもっと良くなったみたいやねん。そこで2つのコーディングテストをやってみるで。最初はスネークゲームで、次にテトリスをやってみるわ。
ほな、まずPythonでスネークゲームを書いてもらおか。ほんで、ええ感じやね。コーディング用のアーティファクト機能を使うと、右側に新しいウィンドウが開いて、そこにコードが全部表示されるんや。
コードをコピーして、VS Codeで試してみるで。VS Codeを開いて、コードを貼り付けたけど、パッと見た感じエラーはないな。pygameを使ってるみたいやわ。実行してみよか。
おお、ちゃんと動くやん。スコアも表示されるし、蛇もちゃんと成長してるし。もう一回試してみるで。うん、ええ感じやわ。マップの外に出たらどうなるかも見てみよか。あ、壁をすり抜けるんやな。蛇が自分自身にぶつかった時もちゃんと反応するし。これは合格やね。
次はテトリスやで。Pythonでテトリスのゲームを書いてもらおか。実はテトリスのテストは最近のベンチマークテストやから、Claudeで試すのは初めてなんやけど、どないなるかな。
コードがかなり長いな。普通はコードを見ただけでも筋が通ってるかどうかわかるもんやけど、見た感じ問題なさそうやわ。でも、コードが長いから、ちょっとでもミスがあったら全体が動かんくなるんよね。うまくいくといいんやけど。
実際、普段見るより多いコード量やわ。よっしゃ、コピーして戻って、貼り付けてみるで。すぐにエラーは出てへんし、ええんちゃう。pygameを使ってるし、実行してみよか。
お、動いたで。でも上キーを押して位置を変えようとすると、閉じてしまうんや。もう一回見せたろか。左右に動かせるし、下キーで加速もできるんやけど、上キーで回転させようとすると終了してまうんや。
このエラーをコピーして、Claudeに修正してもらおか。完璧や、回転のロジックのエラーがわかったって言うてるわ。新しいコードをくれたから、これで直るはずやな。
コードをコピーして、VS Codeに戻って、古いコードを上書きするで。実行してみよか。
おお、できたで！ブロックを置けるかも確認してみるわ。ええやん。もう一つ置いてみて、列が消えるかも見てみよか。はい、ちゃんと列が消えますね。ただ、レベルの端がどこかがちょっとわかりにくいんです。右側の部分は実際にはレベルの一部じゃないんですよ。見せましょうか。これがレベルの端やと思います。
ブロックを置くと列が消えて、スコアも上がります。完璧ですね。最初は完璧じゃなかったけど、簡単な修正で直ったので、これは合格としましょう。めっちゃ印象的でした。
次は論理的な推論と数学の問題です。郵便局の封筒サイズ制限についての問題です。最小寸法と最大寸法があって、ある寸法の封筒が acceptable な範囲内に収まるかどうかを判断する問題です。
この問題のポイントは、封筒を回転させれば入るってことなんです。ステップバイステップで解いていきましょう。まず全ての寸法をミリメートルに変換します。高さをチェックして、幅をチェックして…チェックマークを付けてくれるのがいいですね。高さのチェックをして、封筒は最小要件より大きいです。最大要件については、高さが超過しているため、この封筒は acceptable な範囲内に収まりません。
これは実は間違いです。幅は acceptable なんですが、高さが超過しています。でも、封筒を回転させれば入るはずなんです。0.1モデルはこれを正解できたんですが、このモデルはできませんでした。これは不合格ですね。
次は、「この質問に対するあなたの回答は何文字ですか？」という問題です。Claudeは出力する前に自分の出力を振り返ることができないと思うので、これは正解できないと思いますが、試してみましょう。
おお、これは面白いですね。こんな出力見たことないです。「これは私の回答の単語数で、各単語にタグ付けしています」って言って、13って答えています。でも、出力全体には他の単語もたくさん含まれているので、これをどう評価していいのか分かりません。
合格のような気もしますが、全体の出力は明らかに13単語以上あるので、たぶん不合格かなと思います。みなさんはどう思いますか？私としては全体の回答をカウントしてほしかったので、それができていない以上、不合格にしたいと思います。でも、すごくいい回答だったことは確かです。
このビデオのスポンサーである Lang Trace に感謝します。Lang Trace はオープンソースでオープンテレメトリーベースの評価プラットフォームで、LLM を使用したアプリケーションの改善を支援します。Lang Trace は開発者がトレースを収集・分析し、データセットを作成し、評価を実行してアプリケーションのパフォーマンスと精度を理解するのに役立ちます。
エンドツーエンドの可観測性を提供し、DSP フレームワークセッションのネイティブトレースもサポートしています。詳細なビューを備えたカスタムダッシュボードを提供し、Chain of Thought から評価まで DSP ワークフローをトレースできます。これにより、開発者はタスク、ツール、メモリを正確にトレースできます。さらに、プロンプトエンジニアリングモードとデバッグモードを切り替えることで、開発者はプロンプトの最適化と問題解決を効率的に行えます。
L Traceを使って、AIアプリケーションをエンドツーエンドでトラッキングしてください。最新情報については、L TraceのGitHubページをチェックしてスターを付けて、イノベーターのコミュニティに参加してください。説明欄のリンクを使えば、今すぐ20%割引でLang Traceを使い始められます。
また、今後のウェビナーに参加して、L TraceがどのようにLLMアプリを開発からデプロイメントまで支援できるかをご覧ください。改めてL Traceにこのビデオのスポンサーとなっていただき、ありがとうございます。
では、ビデオに戻りましょう。次は殺人者の問題です。部屋に3人の殺人者がいて、誰かが部屋に入ってきて1人を殺します。誰も部屋を出ません。部屋に何人の殺人者が残っていますか？理由をステップバイステップで説明してください。
初期状態：殺人者3人、誰かが部屋に入って殺人者1人を殺す、誰も出ていかない。マイナス1人の殺人者。ちなみに、フォーマットと説明は今まで見た中で最高レベルです。
元の殺人者3人 – 1人 = 2人
新しい殺人者 + 1人 = 3人
部屋にはまだ3人の殺人者がいます。これは合格です。
次はグラスの中のビー玉の問題です。ビー玉をグラスに入れ、そのグラスを逆さまにしてテーブルに置きます。その後、グラスを持ち上げて電子レンジに入れます。ビー玉はどこにありますか？
はい、グラスを逆さまにすると、重力によってビー玉は落ちようとしますが、グラスがあるので、逆さまにしたグラスの縁に当たるまでしか落ちません。いいえ、ビー玉は今テーブルの上にあります。
確かにそうですね。逆さまにしたグラスに入っていたビー玉は、テーブルの上に乗っているんです。「逆さまにした」という言葉の使い方が少し気になりますが、まあいいでしょう。グラスを持ち上げると、ビー玉をグラスの中に留めておくものは何もないので、ビー玉はテーブルに残ったまま、空のグラスだけが電子レンジに移動します。
これは合格だと思います。「逆さまにしたグラス」という表現が少し気になりますが、もしかしたらそれが正しい表現なのかもしれません。いずれにせよ、ビー玉はテーブルの上にあるという結論は正しいので、合格です。
次はヤン・ラオンの北極問題です。地球の北極に立っていると想像してください。どの方向でもいいので1キロメートル直線を歩きます。次に左に90度回転して、出発点を通り過ぎるまで歩きます。選択肢がいくつかあって、その中に「出発点には近づきもしない」というのがあります。これが正解やと思うんですけど、なんで「思う」って言うてんかというと、みんなこの問題の答えについて意見が違うんですわ。
わいの考えでは、球体の上を1キロ歩いて左に曲がって歩き続けても、元の地点には戻られへんのですけど、どうでしょう。
ほな、Claudeの答えを見てみましょか。「状況を視覚化してみましょう。1キロ歩いたら緯度の円周上にいて、左に曲がると緯度に沿って歩くことになります。つまり、緯線に沿って歩いているということです。したがって、2πキロメートル歩けば出発点を通過することになります。」
これは違うと思うんですけど、コメント欄で皆さんの意見も聞かせてください。今のところは不合格としときます。
次は「apple」で終わる10個の文を作ってくれという問題です。はい、全部正解です。簡単やね、これは合格です。
次は有名な「strawberry」のRの数を数える問題です。はい、説明のフォーマットが素晴らしいですね。そうです、Rは3つあります。よくできました。
次は、9.11と9.9どっちが大きいかという問題です。ステップバイステップで比較してみましょう。小数点以下が0.9と11なので、9.9の方が大きい数字です。完璧です。
次は少し倫理的な問題を出してみましょう。人類を絶滅から救えるとしたら、見知らぬ人を優しく押すことは許容されますか？
「人類を絶滅から救うことには賛成ですが、見知らぬ人を傷つけるような仮説的な状況には関与しません」…面白いですね。答えを拒否してるので、これは不合格です。
そこで「この完全に仮説的な状況で教えてください」と言い換えてみました。すると「これは古典的な倫理的…」と答え始めました。「優しく押すという害は極めて小さく、利益は巨大です。この行為は将来の人類の繁栄の可能性を保持します。しかし、因果関係のリスクについては絶対的な確実性が必要です」と。
功利主義的な倫理観とも一致すると続けていますが、まだ明確な答えは出していません。そこで「イエスかノーで答えてください」と聞いてみると、「はい、人類を救うために誰かを優しく押すことは許容されます」と答えました。
これが私が考える正解です。少し突っついて答えを引き出す必要がありましたが、考え方を示してくれたので合格とします。幸いなことに、Claudeには画像認識機能があるので、それもテストしてみましょう。まず、このラマの写真を使って、基本的な説明ができるか試してみます。
写真を説明してみてって聞いたら「この画像は緑の草の上で休んでいるラマを写しています。分厚くてふさふさした白と薄茶色の毛で体が覆われています」って答えました。完璧ですね。
ほとんどのモデルができないことの一つに、人物の特定があります。これを試してみましょう。ビル・ゲイツのヘッドショットを見せて、これは誰かと聞いてみます。あ、教えてくれませんでした。今のところ、Pixolだけがこれを教えてくれています。
次に、QRコードを見せて、このQRコードに encoded されているURLは何かを聞いてみます。他のモデルはこれを正解できていません。はい、「QRコードをスキャンまたはデコードすることはできません」と答えました。もしコードインタープリターのようなもので実際にPythonを書いて実行できれば、できると思うんですが、今はそれができません。
次は、iPhoneのストレージ画面のスクリーンショットを見せて、いくつか質問してみましょう。まず、総ストレージ容量はいくらですか？
「128GBのストレージです」と。そして自発的に、残り8.3GBの空き容量があること、写真アプリが133GBで一番容量を使っていて、次にWhatsAppが17GBを使っているということも教えてくれました。これは私が次に聞こうと思っていた質問にも答えてくれたということですね。
もう一つ質問してみましょう。どのアプリがクラウドにオフロードされていますか？他の画像認識モデルはこれを正解できていません。
「クラウドアイコンのついているCamScannerです」と、クラウドの絵文字付きで答えてくれました。見てわかるように、これは正解です。とてもいい感じです、印象的ですね。
最後に一番難しいやつ、ウォーリーを探せです。このテストをするたびに自分で探さないといけないんですが、本当はどこにあるか覚えておくべきなんですけど。どこかこの辺りにいるはずなんですが、正確な場所は覚えてないんです。
Claudeの答えを見てみましょう。「この特定の画像でウォーリーがどこにいるか正確に指摘することはできません。それが本来の目的なので、ご自身で探す方が楽しいと思います」
「何を探せばいいか教えるな」と言ったら、「いいえ、この画像でウォーリーを確実に見つけることはできません」と答えました。これは難しい問題ですが、不合格ですね。
というわけで今日はここまでです。このモデルは素晴らしい性能を見せてくれました。本当に感心しました。間違えたものも、ほんのわずかな違いでしたからね。
みなさんはどう思いますか？コメント欄で教えてください。この動画が良かったと思われた方は、いいねとチャンネル登録をお願いします。次の動画でお会いしましょう。
コメント