Na prestižní akci věnované umělé inteligenci v Londýně poskytlo vedení společnosti Meta v úterý první oficiální potvrzení a podrobnosti o blížícím se vydání Llama 3, velmi očekávané další iteraci open-source modelu velkých jazyků.
„Během příštího měsíce, vlastně méně, doufejme, že ve velmi krátké době, chceme začít uvádět na trh naši novou sadu základních modelů nové generace, Llama 3,“ oznámil Nick Clegg, prezident společnosti Meta pro globální záležitosti, na Meta AI Day London, informoval TechCrunch.
Clegg uvedl, že Llama 3 se skládá z „řady různých modelů s různými schopnostmi, různou univerzálností“, které se začnou zavádět v průběhu tohoto roku.
Po uvedení na trh by měl být Llama 3 nejpokročilejším dostupným modelem s otevřeným zdrojovým kódem, do jehož vývoje Meta výrazně investuje. Podle společnosti Meta byl model vycvičen na 140 miliard parametrů, což je dvakrát více než u modelu Llama 2. Generální ředitel společnosti Meta Mark Zuckerburg v lednu naznačil některé technické detaily.
„Budujeme masivní výpočetní infrastrukturu, abychom podpořili náš budoucí plán, včetně 350 tisíc H100 do konce tohoto roku – a celkově téměř 600 tisíc ekvivalentů výpočetních jednotek H100, pokud zahrneme i další GPU,“ řekl tehdy Zuckerberg. Toto množství výpočetního výkonu je podstatně větší než to, které OpenAI použila k tréninku GPT-4, k němuž bylo podle odhadů zapotřebí přibližně 25 000 GPU za 90 až 100 dní.
Zuckerberg také prozradil, že Meta AI, jeho asistent umělé inteligence, má být poháněn systémem Llama 3.
Chris Cox, produktový ředitel, uvedl, že Llama 3 bude integrována do celé aplikace Meta.
„Naším plánem bude, aby Llama 3 poháněla více různých produktů a zkušeností napříč naší rodinou aplikací,“ řekl.
Strategie open-source
Dopad vydání Llama 3 sahá daleko za Meta, vzhledem k filozofickému závazku společnosti vyvíjet ji jako open-source model, což je v jasném kontrastu s uzavřeným, proprietárním přístupem, který zaujali konkurenti jako OpenAI s ChatGPT.
Otevřeným zdrojovým kódem svých jazykových modelů chce společnost Meta podpořit ekosystém otevřeného vývoje umělé inteligence a postavit rodinu Llama jako základ pro různorodé nástroje a aplikace vytvořené vývojáři a výzkumníky třetích stran.
„Je velmi důležité si uvědomit, že inovace vždy staví na předchozích příspěvcích jiných, někdy velmi podobných,“ uvedl minulý měsíc na Twitteru Yann LeCun, vedoucí výzkumu AI ve společnosti Meta. „Proto je otevřený výzkum tak důležitý: díky němu se obor posouvá rychleji pro všechny.“
Z dálky to vypadá, jako by se inovace samovolně objevovaly z vakua.
Je však velmi důležité si uvědomit, že inovace vždy staví na předchozích příspěvcích jiných, někdy velmi podobných.
Proto je otevřený výzkum tak důležitý: díky němu je obor… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) 20. března 2024
Tento otevřený étos již dal vzniknout živé komunitě sdružující se kolem Lamy. Některé z nejpokročilejších open-source jazykových modelů současnosti, jako jsou Mistral, Falcon a Beluga, vznikly vyladěním dřívějšího základního modelu Llama 2. Některé z těchto komunitních modelů se v určitých srovnávacích testech vyrovnaly modelu GPT-3.5 nebo jej překonaly.
Vydání modelu Llama-3 jako dalšího základního modelu s otevřeným zdrojovým kódem pravděpodobně připravuje půdu pro novou generaci LLM, která nastaví laťku ještě výše, pokud jde o kvalitu a efektivitu v oblasti umělé inteligence.
Eh, myslím, že open source se vyrovná nebo překoná letošní rok. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) 1. ledna 2024
Výzva k dominanci OpenAI
Předpoklad otevřeného zdrojového kódu Lamy 3 představuje hrozivou a mnohovrstevnatou výzvu pro současnou dominanci OpenAI na trhu a potažmo i pro další proprietární modely, jako jsou Claude a Gemini.
Komunita open-source bude moci brzy stavět na modelu Llama 3 a rychle iterovat své varianty, aby se potenciálně vyrovnala nebo překonala schopnosti GPT-4 – stejně jako to udělala proti GPT-3.5. Díky nižším nákladům na trénink, které budou sdílet všichni přispěvatelé, by otevřený ekosystém mohl přeskočit vývoj proprietárního modelu OpenAI, který vyžaduje obrovské výpočetní zdroje a náklady.
Pokud by nabídky open source pravidelně dosahovaly stejné úrovně jako komerční nabídky, podniky by se mohly přiklonit k dostupnějším a nákladově efektivnějším ekosystémům, jako je Llama, než aby se spoléhaly na OpenAI a platily za něj. V současné době je GPT-4 nejdražším modelem na trhu z hlediska nákladů na token.
Dále platí, že komunita open-source sílí s tím, jak se do ní zapojuje více lidí. Meta těží z toho, že na modelu staví obrovská komunita, která jej zdarma dolaďuje, vyvíjí nové technologie a vylepšuje. Díky tomu může Meta snáze vyvíjet lepší verze svého modelu a zároveň jej zpeněžit prostřednictvím alternativních schémat, jako je licencování pro komerční využití velkými průmyslovými podniky.
Jinými slovy, pokračující setrvačnost a síťové efekty by mohly v budoucnu ztížit přilákání uživatelů a zákazníků proprietárních modelů OpenAI.
Je jisté, že OpenAI má v současné době silný náskok, pokud jde o ziskovost. Anthropic se může pochlubit tím, že má nejvýkonnější LLM v oblasti AI. Ale Llama 3 bude představovat další strategický úder společnosti Meta, který má rozvrátit prostředí generativní AI.
Samozřejmě hodně záleží na reálném výkonu a přijetí Llama 3 v příštím roce. Komunita open-source AI je však poměrně aktivní – a již nyní miluje Llama-2. V příštích několika měsících to bude velmi zajímavé, zejména s GPT-5 od OpenAI, který je hned za rohem.
