オープンソースAI開発の未来(Hugging Face)

15,187 文字

The Future of Open Source AI Development (Hugging Face)
This episode is sponsored by Oracle.Oracle Cloud Infrastructure, or OCI is a blazing fast and secure platform for your i...

私たちはHugsという新しいソリューションで、エンタープライズ企業が独自の環境内で全てをホストできるという重要な違いを持ちながら、クローズドモデルと同じくらい簡単にAI機能を構築できるようにしています。つまりHugsは、クローズドモデルを使って構築した素晴らしいプルーフオブコンセプトやプロトタイプ、新機能を社内に取り込み、モデルを自社でホストできるようにするためのソリューションなのです。
AIは少し誇張されているかもしれませんが、自動運転車から分子医学、ビジネス効率化まで、突如としてあらゆる場所に登場しています。もしあなたの業界にまだ導入されていなくても、すぐにやってくるでしょう。しかしAIには大量の処理速度とコンピューティングパワーが必要です。では、コストを抑えながら競争力を維持するにはどうすればよいでしょうか?次世代クラウド、Oracle Cloud Infrastructure(OCI)へのアップグレードの時期が来ています。OCIは、インフラストラクチャ、データベース、アプリケーション開発に加え、全てのAIと機械学習ワークロードに対応する、高速で安全なプラットフォームです。OCIはコンピューティングコストを50%、ネットワークコストを80%削減できるため、大幅なコスト削減が可能です。MGMリゾート、Specialized Bikes、Fireworks AIを含む数千の企業が既にOCIにアップグレードしています。
現在、Oracleは新規の米国顧客向けに、OCIに移行した場合、現在のクラウド利用料金を半額にするという特別オファーを提供しています。このオファーは最低利用額の条件があり、2024年12月31日に終了します。御社がこの特別オファーの対象となるかどうかは、oracle.com/onai(eyeonAIを一語で表記)でご確認ください。
Hugging Faceは、AIビルダーのための主要なオープンプラットフォームです。AIビルダーとは、Hugging Faceのオープンソースライブラリやコミュニティから提供されるモデル、アセット、アプリケーションを使って独自のAIを構築する人々のことです。私はHugging Faceでプロダクトとグロースを統括しています。つまり、Hugging Faceの全ての商業活動を担当し、企業がHugging Face技術を活用してビジネスを構築できるよう支援する役割を担っています。
私はバックグラウンドについて少し質問したいのですが、その前にまず、皆さんはモデルのリーダーボードについてよくご存知だと思います。3、4年前にフランス人の友人が、今はHugging Faceに所属しているかもしれませんが、私のところに来てHugging Faceについてどう思うかと、コミュニティの反応を探りに来ました。その時私はHugging Faceについて何も知りませんでした。そこで、Hugging Faceの起源について2、3質問があります。いつ始まり、どこで始まり、そしてこの素晴らしい名前は誰が考えたのでしょうか?
Hugging Faceは今から8年前に、Clon Delong、Julian Shon、Thomas Wolfによって設立されました。当初は全く異なるミッションを掲げていました。彼らはAIをより身近に、そして会話を楽しめるものにしたいと考えていました。8年前に遡ると、これは少し突飛なアイデアでした。なぜなら、現在私たちが知っているようなAIは当時まだ機能していなかったからです。
その通りです。当時はTransformerすらありませんでした。初期の深層学習で利用可能なツールを基に構築していました。そしてTransformerの登場が全てを変え、会社も変わりました。
名前の由来については、Hugging Faceが当初10代向けのモバイルチャットボットだったことを考えると、より理解しやすいかもしれません。しかし、その背後には野心がありました。株式市場で3文字や4文字のティッカーシンボルではなく、絵文字で上場する最初の企業になるという賭けです。私たちはその賭けを続けています。
エイリアンの怪物のことではありません。エイリアン映画に出てくる抱きつく怪物のような、そんなハグではありません。フランス語の慣用句でもありません。抱きしめるジェスチャーをする2本の手が描かれた、あの可愛い絵文字のことです。
最初は開発者を支援するツール群として始まりました。現在は数百というモデルをホストしていますが、実際にはそれ以上です。モデルをホストするとはどういう意味なのか、つまり、これらのモデルにアクセスできるプライベートクラウドを運営し、データセンターのどこかで仮想マシン上で動作させているのでしょうか?モデルをホストするとはどういう意味で、モデル構築のためのツール群も提供しているのでしょうか?
はい、その通りです。Craig、Hugging Faceについて情報をアップデートする良い機会だと思います。現在、プラットフォーム上で100万以上のモデルを公開してホストしています。これらは、AIの機能を構築するために使用できるあらゆる種類のモデルです。
ChatGPTのようなアシスタントのためのテキスト生成モデル、メールの重要度判定や要約、翻訳のためのテキスト処理モデル、音声のためのモデルもあります。今私たちが話していることは、話者の区別(誰が話しているか)を含めて、Transformerモデルによってテキストに変換されています。
画像のためのモデルもあり、テキストから画像を生成したり、画像を理解してキャプションを付けたりできます。さらに動画のためのモデルもあります。実際、現在Hugging Faceハブで最も人気のあるモデルは動画生成モデルで、テキストから動画クリップを作成できます。
これは生化学や時系列データなど、機械学習やAIのあらゆる側面に及んでいます。あらゆるコンテンツを理解するためのモデルがあります。そのため、Hugging Faceは今やツール群以上のものとなっています。オープンソース技術とオープンモデルを使って独自のAIを構築したい人のための主要プラットフォームなのです。
先ほど説明したように、全く異なるものとして始まりましたが、Hugging Faceと業界にとって大きな転換点となったのは、Transformerタイプのモデルと転移学習の登場でした。転移学習とは、既存の既製モデルを取り出し、少量のデータで改良・適応させる能力のことです。
そのため今日、Hugging Faceハブには100万以上のモデルが無料で利用可能です。また何十万ものデータセット、つまりモデルの改良や新しいモデルの作成に使用されるデータも全てあります。プラットフォーム上には何十万ものホストされたアプリケーションがあります。
はい、ではホスティングとは具体的にどういう意味でしょうか?先ほど言ったように、プライベートクラウドを運営しているのでしょうか?それとも他のクラウドにあるモデルへのリンクのリストなのでしょうか?あるいはGitHubリポジトリへのリンクでしょうか?ホスティングとはどういう意味ですか?
最も単純な表現をすると、Hugging Faceハブ(私たちのウェブサイトとクラウドホスト型プラットフォームの名前で、全てのモデル、データセット、アプリケーションが利用可能)にアクセスすると、全てのモデル、データセット、アプリケーションにアクセスできます。
ページ上で直接モデルを試すことができ、推論に利用できます。Metaが提供したLlama 3.2など、モデル提供者が提供した全ての詳細を見ることができます。様々なモデルがあり、その詳細を全て確認できます。
その後、Hugging Faceのオープンソースライブラリや外部コンピューティングプラットフォームで使用できます。そこで、その特定のモデルやデータセットのユニークIDを、企業、データサイエンティスト、機械学習エンジニア、ソフトウェアエンジニアが、Hugging Faceのオープンソースライブラリのエコシステムを直接使用できます。
最も有名なのはTransformersライブラリで、現在全てのAIビルダーがこれらの新しいモデルにアクセスする方法として使用しています。つまり、氷山の見える部分があります。それは全てのリソースを見つけることができるウェブサイトであるHugging Faceハブです。
そして氷山の隠れた部分があります。それは、人々が実際にこれらのリソースを使用し、独自のAIを構築できる広大なオープンソースライブラリのエコシステムです。
はい。まだ完全には理解できていません。例えば、私が大企業だとします。MetaでもOpenAIでもAmazonでもない、誰も聞いたことのない大企業です。そして1兆パラメータのマルチモーダルモデルを構築したとします。このモデルは私のデータセンター、つまり私のデータセンターがある場所に存在します。
このモデルをHugging Faceでホストする場合、それはどういう意味でしょうか?モデルをHugging Faceのデータセンターに移行するということでしょうか?それともAPIコールを通じてHugging Faceにモデルを利用可能にするということでしょうか?あるいは、人々が自分のモデルで使用できるように、モデルの重みをHugging Faceのリポジトリに置くということでしょうか?それはどのように機能するのでしょうか?
それは全ての組み合わせのようなものです。おそらくモデルを構築する際に、Hugging Faceのオープンソースライブラリを使用していたかもしれません。既存のモデルの微調整にTransformersライブラリを使用したり、Nanotronライブラリを使用して事前学習モデルをゼロから構築したりしたかもしれません。
いずれにせよ、Hugging Faceでモデルをホストしたい場合、実際には、Hugging Faceクラウド内でホストされているリポジトリにモデルの重みをアップロードすることを意味します。このモデルをプライベートにするか、パブリックにするかを選択できます。
実際、Hugging Faceにはプライベートにホストされているモデルも同じくらいあります。企業がモデルについて協力したい場合や、他のチームがHugging Faceハブやオープンソースライブラリを使用してアクセスできるようにしたい場合です。
もちろん、モデルを公開することを選択した場合、ライセンスを割り当てて他の人々がモデルを使用できるようにすることができます。モデルを使用するには、モデルのコードを実装したオープンソースライブラリを使用します。
今日、Hugging Faceハブ上のほとんどのモデルは、TransformersモデルかDiffusersモデル、あるいはSentence Transformersモデルなどです。つまり、そのモデルの重みをオープンソースライブラリ内で直接使用して、予測を提供する推論や、モデルを適応させる微調整、モデルの予測が望む通りに機能するかを評価するなどのことができます。
GitHubとはどのように異なるのか教えてください。私はGitHubの方が詳しいので。
はい、GitHubはコードを中心とした協力プラットフォームで、ソフトウェア開発者向けにゼロから構築されています。機械学習や人工知能では、異なるプロセスを使用します。大規模なデータセットや、先ほど話題に上がった巨大なモデルの重みファイルなど、異なるアーティファクトを扱います。
これらのものには全く異なるツールで対応する必要があります。そのため、Hugging Faceハブは、機械学習用にゼロから構築されたGitHubのようなものと考えることができます。モデルの重みやデータセット、AIビルダーが使用する全てのオープンソースライブラリのエコシステムと連携するように構築されています。
GitHubと競合していますか?
非常に異なる機能セットだと思います。AIビルダーはHugging Faceを使用してモデルやデータセットをホストし、モデルやデータセットを操作します。一方、ソフトウェア開発者はGitHubを使用してコードをホストし、コードをレビューします。
興味深いのは、Hugging Faceハブの上に多くのコラボレーション機能を追加していることです。これは技術コミュニティにまだ十分に認識されていない点かもしれません。現在、ハブは企業内や企業間、モデル提供者とモデル利用者の間など、全てのコラボレーションが行われる中心的な場所となっています。
今日、Hugging Face上でモデルを閲覧し、ディスカッションを始め、プルリクエストを通じて変更を提案することができます。チームやコミュニティと一緒に議論したり、新しいプロジェクトを作成したりすることができます。
しかし、あなたの質問に関して興味深いのは、AIビルダーというコミュニティが過去4年間で大きく進化してきたことです。4年前に私がHugging Faceに加わった時、そのコミュニティは主に研究者、AIの研究者とデータサイエンティストでした。彼らは日々Hugging Faceを使用してモデルを共有し、モデルを操作していました。
今日、そのオーディエンスは機械学習エンジニアに、そしてさらにソフトウェア開発者にまで拡大しています。AIネイティブまたはAIファーストの開発者が増えており、AIのために設計された新しいツールセットを使用してAI機能を構築しています。そういう意味で、それが大きな部分でHugging Faceなのです。そのため今日、500万以上のAIビルダーがHugging Faceを使用しています。
Hugging Faceに100万以上のモデルがホストされているとおっしゃいましたが、先ほど言及されたように、その多くは企業がアカウントを持ち、開発者がHugging Faceプラットフォーム上でモデルを開発しているものです。必ずしも一般に公開されているわけではありませんが、100万以上の中でかなりの部分がオープンです。その割合はどのくらいで、誰かがそれをナビゲートするにはどうすればよいのでしょうか?
素晴らしい質問ですね。これはHugging Faceハブの製品体験の核心に関わる部分です。100万のモデルについて言及した時、私は実際にオープンソース、つまり自由にアクセスでき、チェックしてダウンロードできるモデルについて言及していました。
全体では300万以上のモデル、データセット、アプリケーションがHugging Face上で構築されています。しかし、先ほど言ったように氷山の見える部分と隠れた部分があります。見える部分は全ての公開モデルで、隠れた部分は全てのプライベートモデルです。
プライベートに協力できるように、10万以上の組織がHugging Face上で作成されています。チームとしてプライベートモデルを構築し、プライベートデータセットを共有し、AIの機能についての内部デモを構築し、全てをチームとして行っています。
ナビゲーションについての質問ですが、一つの答えはリーダーボードです。先ほどリーダーボードについて触れましたが、おそらくオープンな大規模言語モデルのリーダーボードのことだと思います。これは今日、最も人気のある大規模言語モデル、つまりテキストからテキストを生成するモデルを比較したい場合の参考になります。
この特定のアプリケーションで評価されている1万以上のモデルがありますが、先ほど説明したように、今日Hugging Faceハブとtransformersでは、あらゆる種類の機械学習アプリケーションを構築できます。それはテキストかもしれませんが、音声や画像、動画、3Dなども含まれます。
テキストに関しても、主に英語での学術的なベンチマークに対するモデルのパフォーマンスに興味があるかもしれませんが、別の言語でどのように機能するかに興味があるかもしれません。今日、Hugging Faceハブには何百ものリーダーボードがあります。
アラビア語話者向けのアプリケーションを構築することに興味がある場合は、アラビア語LLMリーダーボードを見ることができます。音声からテキストへの変換に興味がある場合は、そのための特別なリーダーボードがあります。
リーダーボードは確かにハブで利用可能なモデルの多様性をナビゲートするための非常に人気のあるツールです。他のツールもあります。今日Hugging Faceハブ(huggingface.co)を訪れてmodelsに行くと、画面の左側にフィルターのサイドバーが表示されます。
ハブの全てのモデルを、タスク(分類、翻訳、文字起こしなど)、モデルを使用するライブラリ、モデルのライセンス、モデルがサポートする言語などでフィルタリングできます。
これにより、100万の公開モデルから、ユースケースに適合するモデルまで簡単に絞り込むことができます。そして全てが人気度によってサポートされており、コミュニティからのシグナル、つまりダウンロード数やいいね数、モデルのアクティビティを素早く確認できます。
これが、今日データサイエンティストやソフトウェアエンジニアがハブを使用して、自分のユースケースで検討すべきモデルを素早く見つける方法です。
これらは全てオープンソースなので、開発者が継続的にモデルにコードを提供しているということですね?
はい、オープンソースAIは一種の包括的な用語です。そしてモデル、機械学習モデルに関して具体的に何を意味するのか掘り下げることができます。
通常、オープンウェイトモデルについて話す場合、モデルの重みにアクセスできることを意味します。貢献者はモデルを公開し、他の人々がモデルを使用できるように任意のライセンスを適用できます。
ハブでは、新しいリポジトリ、新しいモデルまたはデータセットを作成する際に、適用したいライセンスを簡単に選択できるようにしています。これにより、人々は自信を持ってAIを構築できます。
アプリケーションのホスティングについても言及されましたね。人々はこれらのモデルを使用してアプリケーションを構築しているのですか?アプリケーションの種類別にリーダーボードはありますか?アプリケーションを見つけるにはどうすればよいのでしょうか?アプリケーションは無料で使用できますか?オープンソースモデルを基に構築されている場合、どのようなライセンスが付与されているのでしょうか?
もちろんです。先ほど述べたように、今日コミュニティによって構築された何十万ものアプリケーションがあります。これらは主にデモです。モデルでできることのデモ、異なるモデルが連携して動作するAIシステムのデモです。
XやLinkedIn、その他のソーシャルネットワークで機械学習モデルのデモを見かけた場合、それがオープンモデルであれば、おそらくHugging Faceでホストされているデモです。そのウェブサイトのURLにアクセスし、画像を追加したり、プロンプトを入力したりして、モデルがどのように動作するかを確認できます。
これらがHugging Face機械学習アプリケーションです。私たちはこれらに特別な名前を付けており、「Spaces」と呼んでいます。今日Hugging Faceハブにアクセスすると、モデル用のタブ、データセット用のタブ、そしてSpaces用のタブがあります。
コミュニティが毎日何を構築しているかを見るのは本当に驚くべきことです。実際、今週のSpacesを特集しています。huggingface.co/spacesにアクセスすると、私たちが特集しているSpacesを見ることができます。
もちろん、アカウントを持っている場合、ログインすると全てのトレンドモデル、データセット、Spacesが表示されるので、コミュニティが何に取り組んできたかを発見する素晴らしい方法です。
トレンドとおっしゃいましたが、アプリケーションにもリーダーボードがあるということですね?
Hugging Face上の全てをトレンドという視点で見ることができます。トレンドとは、何が使用されているか、コミュニティによって何が好まれているかを意味します。
はい、それは500万のAIビルダーの一人としてHugging Faceを開くと見る主なものの一つです。今日何がトレンドなのか、あるいは先週何がトレンドだったのかを見ることができます。自分のリポジトリ周りの全てのアクティビティ、チームが何に取り組んでいるか、フォローしている人々などを見ることができます。
それは興味深いですね。起業家にとって、アプリケーションを選んで商業化するための素晴らしいリソースになるに違いありません。それはどれくらい簡単で、どれくらいの頻度で起こっているのでしょうか?
それは毎日、常に起こっています。実際、最近面白い統計が出てきました。Hugging Face上では10秒ごとに新しいモデル、データセット、またはアプリケーションが作成されているということです。
これは、AIがテクノロジーの構築方法をどのように変えたかを表していると思います。以前は、アプリケーションの機能を構築するために、まず何百万行ものコードを書き、動作方法を定義する全てのルールを記述する必要がありました。
今日では全く異なるアプローチを取っています。アプリケーションに新しい機能を構築したい場合、まず「これができる良いモデルはあるか?」と探し、モデルから始めることができます。
そういう意味で、AIや機械学習は技術を構築する新しい方法です。そのため、企業が独自のAIをHugging Faceを使用して構築する中で、これほど多くのアクティビティが発生しているのを目にするのです。
Hugging Faceを通じてAIで何が起こっているかについて素晴らしい概要が得られますね。何がホットで何が注目度を落としているのかが分かると思います。リーダーボードについて言えば、今はエージェントもホストしているのではないでしょうか?エージェントのリーダーボードはありますか?エージェントはモデルとアプリケーションの中間的な存在ですよね?
はい、人々が本当にエージェントで何を意味しているのかについて、現在多くの議論がありますが、確かにHugging Faceモデルを使用して独自のエージェントシステムを構築するためのフレームワークを提供しています。
実際、私たち独自のオープンなChatGPT、そう呼んでもよければHugging Chatの中に、素晴らしいデモ実装があります。無料でアクセスでき、h.cchatにアクセスすると、ChatGPTを使用したことがある人なら見慣れたインターフェースが表示されます。
ただし重要な違いは、Hugging Chatの基盤となっているモデルが全てオープンモデルで、アプリケーション自体もオープンソースだということです。
オープンソースアプリケーション内で、エージェントシステムを実装しています。これにより、AIモデルやSpacesのようなAIアプリケーションなど、大規模言語モデルにエージェントとして使用させたい異なるツールを定義し、独自のアシスタントを作成できます。
これは本当に数分で作成できます。そのため、企業が独自のエージェントシステムを構築するための全てのツール、リソース、オープンソースライブラリを提供しています。
これは単一のリーダーボードや孤立した機能というよりも、私たちが構築する全てによって可能になる何かだと思います。
トレンドの中で、レーダーから消えつつあるもの、注目度が下がっているものは何ですか?アクティビティはどの方向に向かっているように見えますか?Hugging Faceで見ている中で、次に来るものについて何か感じることはありますか?
もちろんです。これは完全にコミュニティに対してオープンです。先ほど言ったように、今日Hugging Faceにログインすると、人々が何をしているのか、何がトレンドなのかを正確に見ることができます。
私たちが見ているのは、全ての異なるモダリティにわたってイノベーションのペースが本当に加速しているということです。今日、Hugging Faceの上位10モデルを見た時、トップ10とはダウンロード数、いいね数、プラットフォーム上のアクティビティによって最もトレンドなものを指しますが、おそらく初めて、上位8モデルが自然言語処理やテキスト生成モデルではないことに気が付きました。
上位8モデルは全て、動画を生成するモデル、テキストと同様に画像を入力として受け付けるAriaのようなモデル、テキストから画像を生成するFluxのようなモデル、音声をテキストに文字起こしするモデルや、テキストから音声を生成するモデルです。
これを見るのは本当にエキサイティングです。おそらくこれは、AIの短いまたは長い(いつ始まったかによって)歴史の中で初めてのことです。研究コミュニティ内で完全に別々の分野だった全てのこれらの異なる分野が、今や共通のアーキテクチャと共通のツールセットを使用しています。
テキスト、画像、動画、音声などの作成や処理には、Transformersモデルか、あるいは部分的にTransformersモデルでもあるDiffusersモデルを使用します。同じツールセットを使用し、リソースにアクセスしてモデルをホストするためにHugging Faceハブを使用し、微調整や評価などにTransformersライブラリを使用します。
これは本当にエキサイティングで、多くの分野間の相互作用を見ることができます。「相互汚染」は適切な言葉ではありませんが、ある分野で実証された技術が他の分野を豊かにしているのを見ることができます。
これは確かにそうで、主に画像生成に焦点を当てたDiffusionコミュニティによって行われた素晴らしい仕事、例えばLow Rank Adaptationが、今や自然言語処理、テキストAIの分野に恩恵をもたらしています。逆方向でも同じことが起こっているのを見ています。
これは、オープンで構築し、協力することの力を示しています。それによって、誰もがはるかに速く進歩することができます。
私はちょうどMillaのある人と話をしました。財団ですね。皆さんの仕事を補完するために何かをしているようです。オープンソースが勝利するということを皆が確信しているようですが、最も強力なモデルは依然としてプロプライエタリなモデルのままです。
これらの巨大なモデルを構築するには多額のコストがかかり、Metaは継続的な投資を行っていることは評価に値します。しかし、OpenAIがオープンソース側に追いつけないほど他を引き離してしまう時点はいつになるのでしょうか?
あるいは、OpenAIが突然、オープンソースモデルの海の中の単なる別のモデルに沈んでしまい、オープンソースの衝動に屈する時点はいつになるのでしょうか?
私たちは過去数ヶ月間で多くのことを学んできたと思います。元の質問に戻りますが、はい、Mozilla財団、特にFirefoxと多くの素晴らしい仕事をしてきました。
先ほどHugging Chatについて言及しましたが、現在Firefox内で直接利用可能です。有効化すると、ブラウジング体験の中でHugging Chatを使用できます。これは本当にクールです。
しかし、メインの質問に戻ると、過去1年間で見てきたのは、トップパフォーマンスのオープンモデルが、トップパフォーマンスのクローズドモデルに追いついてきており、追いつくペースが加速しているということです。
最高のパフォーマンスを得るためにクローズドモデルを使用しなければならない状況ではもうありません。今日、OpenAIやAnthropicの最高のクローズドモデルと同等のレベルで競争しているオープンモデルがあります。状況は本当に変化しています。
これは企業が独自のAIをどのように構築するかを本当に形作ることになると思います。私たちは現在、一種の異常な状況の中で生きていると思います。
この異常とは、ChatGPTが可能にしたことを目にして、自社のビジネスにとってのAIの可能性に目覚めた全ての企業が、自社のビジネス、製品、顧客にとって何を意味するのかを素早く理解しようと苦心し、ソリューションを見つけようとする中で、最も簡単で早い方法として、クローズドモデルを素早く採用したということです。
これは、企業が新しい技術、特に自社にとって重要な新しいコア技術を作る際の非常に異常な方法だと思います。通常、企業が独自のコア技術を作る場合、データが安全で、何をしているかを理解し、長期的な構築を行うために、社内で行いたいと考えます。
AIでこれを本当にできるのは、オープンソースで構築する場合だけです。なぜなら、APIの背後に隠されたクローズドモデルを基に構築している場合、次の月曜日に新バージョンが変更され、それについて全く知らないかもしれません。カスタマーエクスペリエンスが変更された場合でも、それについて何もできません。
私たちは、企業がまだこれを本当に理解していないという異常な状況の中で生きていると思います。次に起こると思うのは、企業がこれらの新しいAIの実証実験や高度なベータ機能などを内部化し、自分たちの運命をコントロールできるようにすることです。
新しい技術を構築するにはAIで構築する方法を考える必要があることを理解した今、企業にとって責任ある唯一の方法は、自分たちでコントロールし構築することです。そうすれば何が起こっているかを知り、それに対して説明責任を持つことができます。
そのため、私はこの新しい時代にとてもワクワクしています。もはや言い訳はできません。なぜなら、クローズドモデルだけができることができる世界ではもうないからです。
欠けているのは「簡単にする」という部分です。これは私たちがHugging Faceで本当に一生懸命取り組んでいる部分です。これが、私たちがHugsと呼ぶものを立ち上げた理由です。
先ほど名前の由来について質問され、このHugging Faceという奇妙な名前について話しましたが、Hugsというこの新しいソリューションで、エンタープライズ企業がオープンモデルを使ってAI機能を構築することを、クローズドモデルと同じくらい簡単にしようとしています。
重要な違いは、全てを自社の環境内でホストできるということです。自社の技術を構築し、AWSなどで顧客データをホストしている場合、自社のAWSアカウント内で構築でき、他のクラウドでも同じことができます。
そのため、Hugsというこの新しいソリューションは、クローズドモデルを使って構築した素晴らしい実証実験、プロトタイプ、新機能を社内に取り込み、モデルを自社でホストできるようにする方法です。これにより、自社のAI構築を本当にコントロールできます。
「簡単にする」とは具体的にどういう違いがあるのでしょうか?インターフェースの違いでしょうか?
それは、全てのインフラストラクチャをセットアップするのにかかる時間です。これらのモデルを実行するために必要な特別なハードウェア上で可能な限り最適に実行できるようにするためです。
そのため、3〜5人のエンジニアを投入して機能させ、その後時間をかけて保守する必要がある1〜2ヶ月のプロジェクトを考える代わりに、数時間のプロジェクトで、自社のインフラストラクチャ内にHugsを展開し、その他の場合は自分で解決しなければならない、またはスキルアップしなければならない全ての最適化ステップを処理することができます。
GPUでのメモリ不足エラーへの対処方法や、特定のGPUでint4やfloat8などの精度でモデルを最適に実行できる量子化の活用方法など、複雑な詳細を全て扱います。
本番環境でモデルを展開するプロジェクトの成否を分ける全ての細かい詳細を、そのHugsソリューション内で解決しています。
それはある種の抽象化レイヤーですね。全ての配管作業を自分でする必要がないということですね。
その通りです。私は技術者ではなくジャーナリストですが、ノーコード運動全体に魅了されています。抽象化のレイヤーが、画面上のブロックを動かしてフローを作成するようなレベルまで到達する日が来ると思いますか?それともこれは複雑すぎてそこまでは無理でしょうか?
私たちは、人々に新しい能力を与えるために、機械学習を使用し、またコードを使用して、異なるソフトウェアの抽象化を構築していると思います。
これらの新しい能力は、ノーコードの体験に変換できます。今日、Hugging Faceにアクセスして、Stable DiffusionモデルやFlux画像生成モデルをハードドライブ上の数枚の写真を使って微調整したいと言えば、ノートブックを開いてPythonコードの例をコピーペーストし、画像の保存場所や保存方法について悩む必要はありません。
これがノーコードの体験が役立つところです。そのため、そのような作業を直接Hugging Face上で行えるAutoTrainというノーコードソリューションがあります。画像をアップロードし、UIでAutoTrainに何をしたいかを指示し、ジョブを開始できます。
このような体験はもっと増えていくと思います。ただし、これは必ずしも何かを置き換えるわけではありません。
例えば、Hugging Face Inference Endpointsについて説明すると、これはHugging Faceハブ上のモデルを取り出し、Hugging Faceのインフラストラクチャ内のAPIに展開するサービスです。
これには非常にシンプルなフォームがあり、30秒で完了します。モデルを選び、使用したいクラウドを選び、リージョンを選び、インスタンスを選びます。他の設定も調整できますが、この時点で展開をクリックするだけで、あとは10分ほどで処理が完了します。
多くの顧客は、このやり方を本当に評価している一方で、コードでこれらのことを行い、プログラム的に自動化することを好みます。CLIやPythonクライアントを使用して全てを自動化します。
そのため、これはどちらかというわけではなく、補完的だと思います。私が興奮しているのは、これらの新しいノーコードの体験が、これらのテクノロジーをより多くの人々に直接アクセス可能にしているということです。
私が質問しなかったことで、言いたいことはありますか?
ありがとうございます。番組に出演できて本当に良かったです。先ほどの質問から、Hugging Faceについての情報をアップデートする必要があると感じていましたので、この会話ができて良かったです。
Hugsの立ち上げのタイミングも非常に良かったと思います。なぜなら、先ほど言ったように、これは企業が独自のAIを構築するのに必要な要素の欠けている部分を補うものだからです。これには、大容量が必要な本番アプリケーションも含まれ、データを compromiseすることなく、自社の環境内で構築できます。
そのため、今後Hugsがどのように展開していくかについて、また別の機会に状況をアップデートできれば嬉しいです。
AIは少し誇張されているかもしれませんが、自動運転車から分子医学、ビジネス効率化まで、突如としてあらゆる場所に登場しています。もしあなたの業界にまだ導入されていなくても、すぐにやってくるでしょう。しかしAIには大量の処理速度とコンピューティングパワーが必要です。
では、コストを抑えながら競争力を維持するにはどうすればよいでしょうか?次世代クラウド、Oracle Cloud Infrastructure(OCI)へのアップグレードの時期が来ています。OCIは、インフラストラクチャ、データベース、アプリケーション開発に加え、全てのAIと機械学習ワークロードに対応する、高速で安全なプラットフォームです。
OCIはコンピューティングコストを50%、ネットワークコストを80%削減できるため、大幅なコスト削減が可能です。MGMリゾート、Specialized Bikes、Fireworks AIを含む数千の企業が既にOCIにアップグレードしています。
現在、Oracleは新規の米国顧客向けに、OCIに移行した場合、現在のクラウド利用料金を半額にするという特別オファーを提供しています。このオファーは最低利用額の条件があり、2024年12月31日に終了します。御社がこの特別オファーの対象となるかどうかは、oracle.com/onai(eyeonAIを一語で表記)でご確認ください。

コメント

タイトルとURLをコピーしました