ロンドンで開催された注目のAIイベントで、メタ社の幹部は火曜日、同社のオープンソースの大規模言語モデルの待望の次期バージョンであるLlama 3のリリースが間近に迫っていることを初めて公式に確認し、詳細を発表した。
Metaのグローバル・アフェアーズ担当プレジデントであるニック・クレッグ氏は、Meta AI Day Londonで、「今後1ヶ月以内、実際にはもっと短い期間で、次世代基盤モデルの新しいスイートであるLlama 3の展開を開始したい」と発表した、とTechCrunchは報じている。
クレッグ氏によると、Llama 3は「さまざまな能力、さまざまな汎用性を持つ」モデルで構成されており、今年中に提供を開始する予定だという。
発売されれば、Llama 3は最も先進的なオープンソースモデルになると予想され、メタ社はその開発に多額の投資を行っている。メタ社によれば、このモデルは1400億のパラメータで学習され、Llama 2の2倍の能力を持つとのことだ。メタ社のマーク・ザッカーバーグCEOは、1月に技術的な詳細を予告していた。
「ザッカーバーグは当時、「われわれは将来のロードマップをサポートするために、今年末までに35万個のH100sを含む大規模な計算インフラを構築している。この計算能力は、OpenAIがGPT-4の訓練に使用したものよりもはるかに大きく、90～100日間で約25,000個のGPUが必要と見積もられている。
ザッカーバーグはまた、同社のAIアシスタントであるMeta AIがLlama 3を搭載する予定であることも明らかにした。
クリス・コックス最高製品責任者は、ラマ3はメタ全体に統合されると述べた。
「私たちの計画は、Llama 3が私たちのアプリファミリー全体の複数の異なる製品や体験を動かすようにすることです」と彼は言った。
オープンソース戦略
ChatGPTでOpenAIのようなライバルが取った閉鎖的でプロプライエタリなアプローチとは明らかに対照的だ。
言語モデルをオープンソース化することで、メタ社はオープンAI開発のエコシステムを育成し、Llamaファミリーをサードパーティの開発者や研究者が作成する多様なツールやアプリケーションの基盤として位置づけることを目指している。
「イノベーションは常に、他者からの、時には非常に類似したものからの貢献の上に成り立っていることを理解することは非常に重要だ」と、メタ社のAI研究責任者であるヤン・ルクンは先月ツイートした。「オープンな研究が重要な理由はここにある。
遠くから見ると、イノベーションは真空から自然発生的に現れるように見える。
しかし、イノベーションは常に他者からの貢献の上に成り立っていることを理解することが非常に重要である。
これがオープンリサーチが重要な理由である。オープンリサーチがフィールドを… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) March 20, 2024
このオープンな精神は、すでにラマを中心とした活気あるコミュニティを生み出している。Mistral、Falcon、Belugaなど、今日最も先進的なオープンソースの言語モデルのいくつかは、初期のLlama 2ファウンデーションモデルを微調整することで構築されている。これらのコミュニティモデルのいくつかは、特定のベンチマークにおいてGPT-3.5に匹敵するか、それを上回っています。
Llama-3が別のオープンソースの基礎モデルとしてリリースされたことで、AIにおける品質と効率の面でさらに高いハードルを設定する新世代のLLMへの道が開かれることになりそうだ
。
えー、オープンソースは今年に匹敵するか、打ち負かすと思う。pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) 2024年1月1日
OpenAI支配への挑戦
Llama 3のオープンソースという前提は、OpenAIの現在の市場支配力、ひいてはClaudeやGeminiのような他のプロプライエタリなモデルに対する、手ごわく多層的な挑戦を提起している。
オープンソースコミュニティは、GPT-3.5に対してそうであったように、Llama 3をベースに、GPT-4の能力に匹敵するか、それ以上の能力を持つ可能性のあるバリエーションを迅速に反復することがすぐにできるようになります。GPT-3.5に対して行ったのと同じように。貢献者全体で共有されるより低いトレーニングコストにより、オープンなエコシステムは、膨大な計算リソースとコストを必要とするOpenAIのプロプライエタリなモデル開発から飛躍する可能性がある。
オープンソースのサービスが定期的に商用サービスと同等になるようになれば、企業はOpenAIに依存してお金を払うよりも、Llamaのような、よりアクセスしやすく費用対効果の高いエコシステムに引き寄せられるかもしれません。現在、GPT-4はトークン1つあたりのコストという点で、市場で最も高価なモデルである
。
さらに、オープンソースコミュニティは、より多くの人々がそれに関わることで強くなっていく。Metaは、巨大なコミュニティがモデルの上に構築し、微調整し、新技術を開発し、無料で改良することで利益を得ている。これによってメタは、より良いバージョンのモデルを開発しやすくなり、また大規模な産業による商業利用のためのライセンス供与のような代替スキームによって収益化しやすくなる。
言い換えれば、惰性とネットワーク効果が継続することで、OpenAIのプロプライエタリなモデルが将来的にユーザーや顧客を惹きつけることが難しくなる可能性がある。
確かに、OpenAIは現在、収益性の面で強いリードを保っている。Anthropicは、AI分野で最高のパフォーマンスを誇るLLMを持っていることを自慢できる。しかし、Llama 3は、生成AIの展望を覆すためのMetaによる新たな戦略的一撃となるだろう。
もちろん、今後1年間のLlama 3の実世界でのパフォーマンスと採用状況に大きく左右される。しかし、オープンソースのAIコミュニティは非常に活発で、すでにLlama-2を気に入っている。特にOpenAIのGPT-5が目前に迫っている。
