4,105 文字
皆さん、こんにちは。私はケイトリン・オーガスティンと申します。DataKindの製品・プログラム担当副社長を務めています。私たちは、人類のためにデータとテクノロジーを活用することに焦点を当てたグローバルな非営利団体です。本日は、人道支援分野での同僚のテッドと共に登壇させていただきます。テッドは人道支援活動とパートナーシップを主導しています。
私たちは、人道支援分野における適時で質の高いデータの膨大なニーズについてお話しさせていただきます。現状を把握していただくために申し上げますと、現在世界中で3億人が人道支援を必要としています。40の調整された世界的な支援要請があり、資金不足は460億ドルにのぼります。
このことから、適時の対応と効率的なリソース活用を実現するためのソリューションを見出すために、私たちは革新を迫られていることは明らかです。DataKindの立場からは、これが非常にうまくいった例を見てきました。
これは国連人道問題調整事務所（UN OCHA）のアフガニスタンでの自然災害対応の例です。これは国連が設置・維持している対話型ダッシュボードで、複数のリソースからデータを取得しています。地方政府からのデータ、NGOからのデータ、国連チームからのデータがあり、対応者が災害の発生場所を特定し、適切なチームを適切な介入と共に迅速に派遣することを可能にしています。
しかし、これは残念ながら例外であって、通例ではありません。私たちは、質の高いデータが命を救う助けになることを知っています。そこでDataKindは、20以上の人道支援組織にインタビューを行い、「対応にデータが役立つことは分かっているのに、実際にデータにアクセスして使用する際の課題は何か」を尋ねました。
私たちは多くの課題を耳にし、生成AIが人間を介在させながら、それらの問題解決に意味のある貢献ができる場所を特定しました。ここで私が掘り下げたい問題は、メタデータ予測です。
なぜメタデータ予測なのでしょうか。人道支援者はスプレッドシートを好みます。それが彼らの好むデータセットであり、データを共有する方法です。人道支援データの主要なリポジトリの1つである人道支援データ交換（HDX）では、2023年に15万件以上の表形式データセットがありました。
それらのデータセットには命を救う情報が含まれているにもかかわらず、相互運用性がありません。これは20年前にHXLという、コミュニティで作成され承認されたメタデータ標準が存在するにもかかわらずです。これは、データセットの各列にデータのラベルと説明を付けるのを助けるツールです。使い方は非常に簡単で、そこで実行されている例は、スプレッドシートに行を追加する方法を示しています。
しかし、HXLは実際には採用されておらず、影響力を持つには至っていません。表形式データの扱いは時間がかかり、エラーが発生しやすいのです。結果として、人道支援データの約半分にはメタデータが全くなく、メタデータタグがある半分のうち、約半分は間違っています。データが標準化されておらず、共通のコーパスにないのです。そのため、そのデータは目的に適していません。
私たちは、生成AIがこのデータのラベル付け、タグ付け、属性付けを支援できると考えています。約5年前に概念実証としてこれを示す先行研究がありましたが、実装に多くの摩擦がありました。私たちはGPTを使用することで、より広範な知識体系に対してこのタグ付けを実行し、はるかに少ない摩擦で実装できることを確認しました。
この取り組みは2023年に開始し、2024年には拡大して8月に最後のラウンドを完了し、3つの異なるモデルとプロンプト手法をテストしました。
では、どのようにしてこの問題に取り組んだのでしょうか。データセットの約25%しか正確なメタデータを持っていないという状況で、私たちのステークホルダーからは、「間違いよりも正しい方が多ければ満足」という声を聞きました。
私たちは文献を調査し、異なる文脈ではありますが、同様の課題に対して70%の精度が意味のある結果をもたらしていることを確認しました。そこで、精度目標を70%に設定しました。
これは人道支援者や非営利組織に使用を求めるものであり、彼らには予算項目がないため、週間コストを約5ドルに抑え、週間生成量である約100の表を処理できるようにしたいと考えました。
これは既存のワークフローに組み込まれるものであり、可能な限り高速であることを望みました。以前の研究から、表あたり約1秒の処理時間が妥当だと示唆されていました。また、準備から処理まで合計で約1時間かかることを想定しました。
私たちは依然として人間をこのプロセスの一部としていますが、彼らはすべてのメタデータの手動修正と情報の組み立てから、実際に行われたタグ付けのチェックに移行しただけです。
これらの目標を念頭に置いて、私たちは作業を開始しました。まず、人道支援データ交換からデータを取得し、多くのデータ準備を行いました。このデータ準備の中で、チームにとって有益な学びとなった2つの点を強調したいと思います。
1つ目はデータの強化です。人間がメタデータタグ付けを行う場合、実際にラベル付けする内容のコンテキストを理解するために複数の行を読む必要があります。システムも同様です。そこで、私たちはGPT-3.5 turboを使用して表の要約を作成し、そのようにデータセットを強化しました。
2つ目はテストセットとトレーニングセットの作成です。標準的な機械学習のフローでは、トレーニングとテストの間でランダムな割り当てを行ってデータセットを作成します。しかし、この場合、同じ組織が全てのメタデータタグ付けを行っており、同じ方法で行っているため、ランダムな分割を行うと、同じ組織のデータが両方のセットに含まれることになります。
これは人為的に良好な結果につながる可能性がありました。そこで、組織に基づいてトレーニングセットとテストセットを作成し、ある組織のメタデータはどちらか一方のセットにのみ出現するようにしました。最終的に、テストファイルを作成し、fine-tuned GPT-4oと40 Miniモデルのテストに進みました。
最初に言えることは、最も一般的なメタデータに対して非常にうまく機能したということです。場所と日付については95%以上の精度を達成しました。これが最も重要な要素であったため、私たちはこの結果に大変満足しています。
HXLタグ、つまりポピュレーション、ロケーション、日付などのラベルの予測にはうまく機能しましたが、タグと属性、つまり説明子の予測については、まあまあの結果でした。
なぜこれがそれほどうまくいかず、約60%の精度しか得られなかったのか、その理由を掘り下げて調査したところ、興味深い発見がありました。
まず、モデルと人間の両方が正しい状況があることが分かりました。HXL標準にはシノニム（同義語）があり、例えば「location」は「admin」とも呼ばれます。人間が一方でラベル付けし、モデルが他方でラベル付けしていても、両方とも正しいのです。
さらに興味深かったのは、モデルが正しい、あるいは人間よりも正確な状況があることでした。モデルは実際に人間よりも多くの説明子を追加しました。例えば、人間が「これはポピュレーションである」と言った場合、モデルは「これは15歳以下の女性のポピュレーションである」と言い、より価値のある情報を提供しました。
最後に、人間のラベル付けデータが間違っている状況がありました。正しい標準であっても、依然として間違った事柄を説明しており、モデルが実際に正しかったのです。
これにより、このファインチューニングが最善のアプローチではないかもしれないと考えるようになりました。これらのプロンプトのスケールメリットを考えると、ファインチューニングを完全に避け、代わりにこれらのHXLタグと属性を直接プロンプトできないかと考えました。
答えは「ある程度」です。私たちは皆、これらのゼロショットプロンプトをそのまま使用してきました。答えは正しく見えました。意味が通るように見える答えを得ましたが、実際にはHXL標準に全く従っていません。答えは、「正しい答えは何だと思うか」を考えようとする人間のラベル付けタグによく似ていました。
そこで、プロンプトに指示を追加する必要がありました。HXLデータ標準のみを含むように変更し、情報の順序についてルールを設定する必要がありました。タグが必要で、その後に属性が必要でした。これを行うと、素晴らしい結果が得られました。
私たちのステークホルダーは大変喜びました。なぜなら、精度目標、時間制約、コスト目標を達成する複数のアプローチがあったからです。これにより、人道支援用にさらに数千の変数をアンロックすることができました。
そして、私たちは常に改善を続けています。今日は、蒸留や継続的な改善に関する興奮する発表がありました。これは現在、フェーズ2に持ち込んでいるものです。なぜなら、最終的にメタデータ予測は、私たちの全体的な人道支援データプロジェクトシステムの一部に過ぎないからです。
ここで金色で示されているこの1つのボックスだけです。人道支援者に適時で質の高いデータへの迅速なアクセスを提供するために、私たちが使用し、アクセス可能にしているツールに供給される他の多くの部分があります。
私の背後に今見えているのは、私たちの人道支援AIアシスタントで、調和された相互運用可能なデータをすべて取り込み、人道支援者がチャットを通じて真実が検証された情報を取得し、迅速な対応を可能にするものです。
これはすべて人道支援者との共創により実現されました。駆け足のツアーでしたが、時間が来ましたので、ぜひフォローしていただき、つながりを持っていただければと思います。今後もみなさまとお話しできることを楽しみにしています。
コメント