7,724 文字
スピーカー：こんにちは皆さん。11日目へようこそ。私はOpenAIのプロダクト責任者のケビン・ウィールです。右隣にいる二人の紳士の方々は、48時間前にAmazonでスーツを買ったわけではなく、もともと持っていたものだと聞いています。はい、確かにそうですよ、100%そうです。
さて、皆さんもお気づきかもしれませんが、私たちはデスクトップアプリに多くの力を注いできました。約6ヶ月前にMac用デスクトップアプリをリリースし、数ヶ月前にはWindows用デスクトップアプリもリリースしました。モデルがますます強力になるにつれて、ChatGPTはよりエージェント的になっていきます。つまり、単なる質問と回答を超えて、ChatGPTはあなたのために様々なことを行うようになります。
すでにCanvasのような製品でそれを目にしています。そこではChatGPTと協力して文章やコードを改善することができます。この変化は続き、ChatGPTはますますあなたの代わりに多くのことを行うようになるでしょう。デスクトップアプリもその大きな部分を担っています。なぜなら、デスクトップアプリであれば、ブラウザのタブだけでは不可能な多くのことができるからです。もちろんあなたの許可を得た上で、画面の内容を見たり、デスクトップ上での作業を自動化したりすることができます。
2025年に向けて、この点についてより多くの発表があります。今日も、いくつかの exciting な新機能をリリースしています。では、詳しく見ていきましょう。
ジョン：こんにちは、ジョン・ナストスです。ChatGPTデスクトップチームで働いています。
ジャスティン：ジャスティン・ラッシングです。私もChatGPTデスクトップチームのメンバーです。今日はたくさんのことをお見せしたいと思います。
まず最初に、これがMac用の完全にネイティブなChatGPTデスクトップアプリです。私たちのクライアントに期待される機能を全て備えていますが、特に気に入っているのは、ネイティブアプリケーションであるため非常に軽量で、リソースをあまり使用しないことです。独自のウィンドウで動作し、現在の作業からコンテキストを切り替えることなく使用できます。
オプション+スペースというキーボードショートカットで素早く表示できるので、必要なときにいつでも利用可能です。このボタンは、コンピュータ上のアプリと連携するためのエントリーポイントです。この機能について私が考えているのは、私たちは常にChatGPTにコピー＆ペーストをしていますよね。この機能を使えば、コンピュータ上のアプリと連携する際に、自動的にそのコンテキストを取り込んでくれるので、質問に集中するだけでよく、残りは全て処理してくれます。
私が開いているこのWarpコンソールウィンドウに注目してください。現在、私が把握しようとしているリポジトリに移動しています。少し変に聞こえるかもしれませんが、このリポジトリで1日あたり何件のコミットが行われているのか知りたいと思います。私たちはここで開発速度についてよく話題にしますので、自分で確認してみたいのですが、やり方がわかりません。そこでChatGPTを使ってみましょう。
このボタンをクリックすると、現在実行中の、ChatGPTが連携可能なアプリケーションが全て表示されます。重要な注意点として、アプリケーションを選択するまでは、他のアプリの内容を一切確認することはありません。つまり、ChatGPTと共有する内容を常に完全にコントロールできます。
まずWarpを選択します。ここで、Warpチームの協力に大きな感謝を示したいと思います。アプリとの連携機能を最初に発表したとき、Warpのサポートはありませんでした。実際、最初のリクエストがWarpのサポート追加だったと思います。チームは今日の準備のために本当に頑張ってくれました。ありがとうございます。
では、「過去2ヶ月間の1日あたりのコミット数を取得するコマンドを書いて」とお願いしましょう。私がGitを使用していることをChatGPTに伝える必要はありません。Warpから判断できるからです。必要なコマンドを提供してくれるでしょう。
このボタンを押してWarpにコピー＆ペーストします。これは正しく見えますが、見ている情報が少し理解しづらいですね。私自身、視覚的な学習者なので、通常なら、これをスプレッドシートに入れてグラフを作成し、3年後にそのスプレッドシートを探し出すことになるでしょう。しかし、その代わりにグラフを作成してもらいましょう。「全ての結果を棒グラフにして」と。ホリデーテーマにしてみましょう。
これは、アプリとの連携機能の最も素晴らしい点を示しています。ChatGPTの他の機能や他のモデルと連携して動作するのです。この場合、Advanced Data Analysisを使用して数値を処理し、棒グラフを作成してくれています。つまり、Advanced Data Analysisのような機能をChatGPTに組み込むと、ChatGPTが連携する全てのアプリでその機能が利用可能になるということです。
ジョン：素晴らしいですね。処理している間に、モデルが実際に何を見ているのか少し説明してもらえますか？画面に表示されているものだけですか、それともそれ以上のものですか？
ジャスティン：良い質問です。簡単な方法としては、スクリーンショットを取得してVisionに任せることもできますが、実際にはアプリケーションの中身にアクセスしてコンテンツを取得できます。そのため、これらの結果には画面に表示されているものだけでなく、全ての情報が含まれています。
ホリデーテーマの部分で少し考え込んでいたようですね。完璧です！ホリデーテーマに見えますよね、ジョン？
ジョン：ホリデーテーマですね。私たちのスーツほどではありませんが、悪くないです。
ケビン：文字通り、あなたたちのスーツほどホリデーテーマなものはありませんね。
ジャスティン：完璧です。これをダウンロードして、チームメイトと共有できますね。では、プログラミングについてもう少し話すために、ジョンにバトンタッチします。
ジョン：ジャスティンが示した、ターミナルとやり取りするユースケースは本当に重要で有用だと思います。今度は、IDEでコードとやり取りする様子をお見せしたいと思います。
ここにXcodeを開いていますが、これは私の選択するIDEで、サンプルアプリを実行しています。実はこれは、このアプリとの連携機能がどのように動作するかの舞台裏を少し覗かせるものです。このサンプルアプリは、macOSのアクセシビリティAPIを使用してXcodeを見て、画面上の情報を教えてくれます。
テキストフィールドの寸法や、37行あることを示しています。下に行って37行あるか確認できますね。テキストフィールドの内容も表示しています。実際、この機能を作るのにこれを使用しました。
これは素晴らしいのですが、リアルタイムの更新はしません。ChatGPTを使ってその機能を追加してみましょう。ジャスティンが先ほど示したものと似たショートカットを使ってチャットバーを表示します。ただし、少し変更してOption + Shift + 1を使用します。これにより、この機能をサポートする最前面のアプリであるXcodeが自動的にペアリングされた状態でチャットバーが表示されます。アプリの作業を開始するのが非常に速くなります。
XcodeがChatGPTから見えているという即座のフィードバックが得られるのは素晴らしいですね。これらのアクセシビリティAPIは少し難解で、使い方を覚えるのが確実に難しく、実際かなり複雑です。そこで、モデルセレクターを使用してo1に切り替えようと思います。o1は私たちのより新しいモデルの1つで、こういった難しいコーディングの問題を考えるのが得意です。
また、この機能はo1 Proでも利用可能で、本当に深いコーディングの問題に取り組みたい場合はそちらを使用できます。では、プロンプトを与えてみましょう。「選択が変更された時にloadTextAreasが呼び出されるようにオブザーバーを追加して」と入力します。
o1は私たちのChain of Thoughtモデルの1つで、この問題について考えているのが見えますね。問題を検討する際のステップを教えてくれます。わお、かなり早い応答でしたね。そんなに考える必要がなかったようです。
次回はもっと難しい問題を与えないとですね。コードを生成していますが、私はo1のコードをかなり信頼しているので、生成が終わったらXcodeにコピーして実行してみましょう。何も問題は起きないはずです。ライブデモは100%うまくいくというのが宇宙の法則の1つですからね。
コードをコピーしてXcodeに直接ペーストしました。問題がないか素早くスクロールして確認してみましょう。かなり期待が持てそうです。では実行してみましょう。
ただ、Xcodeに戻ってコピー＆ペーストする必要がないのはクールですよね。それは素晴らしいですね。それを作るべきだと人々が提案していますが。
ケビン：絶対に作るべきです。PMとして承認します。
ジョン：素晴らしい。では実行してみましょう。コンテンツを選択してみると…あ、思った通りには動きませんでした。もう一度試してみましょうか？
ジャスティン：はい、もう一度聞いてみましょう。
ジョン：具体的なエラーがないので、前の状態に戻してみましょう。変更を破棄して…もう一度やってみましょう。
処理している間に、他の機能についても話せますね。「選択が変更された時にloadTextAreasが呼び出されるようにオブザーバーを追加して」、もう一度。
多分、前回は十分に考えていなかったんですね。自信過剰だったかもしれません。考えている間に言及しておくと、私はXcodeを使っています。これは私のSwift用の選択IDEですが、他にもたくさんのIDEをサポートしています。
VS Code、JetBrainsのエコシステム（Android StudioやPyCharm、RubyMineなどを含む）、TextMateやBBEditのようなMacの定番アプリもサポートしています。かなり多くのサポートがありますね。
ジャスティン：実は、MATLAB対応に関して非常に興奮しています。大学時代に使えたら良かったのに。
ジョン：MATLABは確かに面白いですね。学生さんたちにとって本当に役立つと思います。
コードの生成が終わりましたね。このコピーボタンを使って、また完全な信頼を持って…何が起こり得るか分かっていますが。
では、もう一度実行してみましょう。今度は少しうまくいくことを期待して。実行中です…見てください！何かを変更すると…変わりましたね。
ジャスティン：ホリデーの奇跡です。2回目で祈りが通じましたね。
ジョン：その通りです。
素晴らしいですね。今日は主にコーディングについて話してきましたが、私がChatGPTをよく使用するもう1つの用途は、文章作成の支援です。私だけではないと思います。そのため、今日は3つの新しいアプリケーションのサポートを発表します：Apple Notes、Notion、Quipです。
これにより、アプリとの連携に関して全く新しい使用事例が開かれると考えています。皆さんがどのように活用するか、楽しみにしています。
ジョン、ケビン、あなたたちはすでにご存知ですが、他の皆さんのために言うと、私は仕事の外でサンフランシスコの歴史ツアーガイドをしています。歴史マニアで、サンフランシスコには素晴らしい物語があります。実は新しいウォーキングツアーを作成中なので、この機能を試してみましょう。
ケビン：やってみましょう。
ジャスティン：素晴らしい。ここに私のコンピュータでNotionのドキュメントを開いています。私は常にNotionでツアーを書いているのですが、これは実際に作成中の本物のウォーキングツアーです。興味深いと思っていただけると嬉しいです。
実は、サンフランシスコの歴史の中で私のお気に入りのキャラクター、ノートン皇帝についての新しい立ち寄りポイントを作成中です。いくつかの要点は把握しています。彼は1800年代にサンフランシスコに住んでいた、自称アメリカ合衆国皇帝でメキシコの保護者でした。さらに、彼は自分で通貨を発行していて、それが実際に市内で有効だったんです。
ケビン：そんなことができるんですね。
ジャスティン：そうなんです。素晴らしいツアーポイントになると思いますが、詳細が少し曖昧なので、ChatGPTに助けてもらおうと思います。これらの箇条書きをコピー＆ペーストする方法もありますし、ChatGPTはそれでもうまく対応してくれると思います。でも、文書全体のコンテキストがあると役立つでしょう。
そこで、ChatGPTにNotionと直接やり取りしてもらいましょう。Option + Spaceを押してChatGPTを表示し、Notionと連携させます。このストップの部分を選択して、モデルが注目すべき箇所を理解できるようにします。
Notionと連携していて、選択した行に焦点を当てたウォーキングツアーの文書で作業していることが分かります。「これらの要点を詳しく説明して」とだけ言えば十分です。より具体的である必要はありません。
ただし、これはウォーキングツアー、つまり歴史ツアーなので、事実が正確である必要があります。そのため、このボタンを押して検索をオンにします。これで、ChatGPTは私の質問に答えるためにウェブを検索し、提供される情報は全て引用に基づいたものになります。
リンクをクリックして、ChatGPTが私の研究を文書作成の文脈でサポートしてくれる、素晴らしいインタラクションループが見えてきます。これは私が扱いたい内容全てのように見えますが、私の文体とは少し違います。公式な結果のように聞こえますね。
そこで検索をオフにして、「他のストップの文体に合わせて、短く2段落にして」とお願いします。ChatGPTは文書の残りの部分を読んで、私の話し方や書き方を学び、それを真似しようとします。
素晴らしい、これは良さそうです。「サンフランシスコで最も愛されたキャラクターの一人を紹介しましょう」。残りはツアーに来ていただかないと分かりませんよ。私らしく聞こえますね。
これを選択してNotionにコピー＆ペーストします。もちろん、ここから改良を重ねたいと思います。これがChatGPTをNotionで使用する簡単な例でした。
ジョン：コードだけでなく、このように文書を扱うのは本当に魅力的だと思います。これは素晴らしいですが、モデルと作業する一つの方法、つまりテキストの入出力だけです。今日は、この機能でAdvanced Voice Modeを使用するサポートを紹介したいと思います。このパラダイムは、ChatGPTと会話して文書やコードについての洞察を得る非常に興味深い方法だと考えています。
OpenAIにいない時間は、プロのサックス奏者として過ごしています。このホリデーパーティーのセットリストについて、アドバイスが欲しいと思います。ChatGPTは素晴らしいアドバイスをくれると思いますが、今回は音声を使ってみたいと思います。
ケビン：そういえば、あなたのホリデーパーティーがいつも素晴らしいのはこのためですか？
ジョン：いいえ、それは別の理由です。
ジャスティン：スーツのおかげですか？
ジョン：はい、スーツは確実に役立っています。誰か特別な人に手伝ってもらいたいと思います。先ほど言及したショートカット、Option + Shift + 1を使ってChatGPTを表示しましょう。自動的にNotesとペアリングされますが、今回はモデルに入力する代わりに、この新しいAdvanced Voice Modeサポートを使用します。右下のこのアイコンを使って、特別なゲストを呼び出しましょう。
サンタさん、いらっしゃいますか？
サンタ：はい、今日はどのようにお手伝いできますか？
ジョン：サンタさん、お話できて本当に素晴らしいです。このホリデーセットリストを作成中なんですが、いくつかの曲について確信が持てません。この「I’ve Got My Love to Keep Me Warm」という曲、実はあまりよく知らないんです。他に何かおすすめはありますか？
サンタ：「Frosty the Snowman」に変えてはどうでしょうか？
ジョン：それは良いアイディアですね。「Frosty the Snowman」でいいですか？
サンタ：まだ完璧ではありませんね。
ジョン：続けましょう。
サンタ：ホリデーセットリストについて、他に何か知りたいことはありますか？
ジョン：サンタさんはコピー編集に飽きてしまったようですが、先に進みましょう。2番目のセットの最後の曲、「Auld Lang Syne」について。これは少し憂鬱すぎるので、あなたとエルフたちを踊らせるような、もっとエネルギッシュな曲にしたいのですが、どう思いますか？何に変えるべきでしょう？
サンタ：「Deck the Halls」が完璧な代替曲になりますよ。陽気で祝祭的で、みんなを確実に踊らせることができます。
ジョン：サンタさん、それは素晴らしいアイディアですね。この曲は本当に「シャレー」そうです。音声モデルとこのようにやり取りするのは、文書についての対話をして、リアルタイムのフィードバックを得る素晴らしい方法だと思います。
ジャスティン：その通りです。そして良いニュースです。この生配信の直前に、実は今お見せした機能全ての公開ボタンを押しました。最新のmacOS用ChatGPTアプリにアップデートすれば、すぐにお使いいただけるはずです。
ケビン：以上が11日目でした。デスクトップアプリを使用して、ChatGPTで行う作業を見て、理解し、自動化する方法についてでした。これは20分前から利用可能になったMacデスクトップアプリで提供されており、まもなくWindowsでも利用できるようになります。
デスクトップアプリは、作業中はバックグラウンドにいて、キーボードショートカットで呼び出すとすぐに現れて、作業の手助けをしてくれる点が気に入っています。
これが11日目でした。あと1日残っています。明日の朝、12日目をお届けします。とても exciting な内容なので、お見逃しなく。
ジャスティン：これらの機能を皆さんにお届けできることを本当に楽しみにしています。とても興奮していますが、その間に、サンタさんが推薦してくれた曲の練習を始めないと。
コメント