Na głośnym wydarzeniu poświęconym sztucznej inteligencji w Londynie, kierownictwo firmy Meta przedstawiło we wtorek pierwsze oficjalne potwierdzenie i szczegóły dotyczące zbliżającej się premiery Llama 3, bardzo oczekiwanej kolejnej iteracji dużego modelu językowego firmy o otwartym kodzie źródłowym.
„W ciągu najbliższego miesiąca, a właściwie krócej, mamy nadzieję, że w bardzo krótkim czasie, rozpoczniemy wdrażanie naszego nowego pakietu modeli fundamentalnych nowej generacji, Llama 3”, Nick Clegg, prezes Meta ds. globalnych, ogłosił podczas Meta AI Day London, poinformował TechCrunch.
Clegg powiedział, że Llama 3 składa się z „wielu różnych modeli o różnych możliwościach, różnych wszechstronnościach”, które zaczną być wdrażane w tym roku.
Oczekuje się, że po uruchomieniu Llama 3 będzie najbardziej zaawansowanym dostępnym modelem open-source, a Meta zainwestuje znaczne środki w jego rozwój. Jak twierdzi Meta, model został przeszkolony przy użyciu 140 miliardów parametrów, czyli dwukrotnie więcej niż Llama 2. Dyrektor generalny firmy Meta, Mark Zuckerburg, zdradził niektóre szczegóły techniczne w styczniu.
„Budujemy ogromną infrastrukturę obliczeniową, aby wspierać naszą przyszłą mapę drogową, w tym 350 tys. procesorów H100 do końca tego roku – i ogólnie prawie 600 tys. ekwiwalentów obliczeń H100, jeśli uwzględnimy inne procesory graficzne” – powiedział wówczas Zuckerberg. Ta ilość mocy obliczeniowej jest znacznie większa niż ta wykorzystywana przez OpenAI do trenowania GPT-4, co według szacunków wymagało około 25 000 procesorów graficznych w ciągu 90 do 100 dni.
Zuckerberg ujawnił również, że Meta AI, jego asystent AI, będzie zasilany przez Llama 3.
Chris Cox, Chief Product Officer, powiedział, że Llama 3 zostanie zintegrowana z Meta.
„Naszym planem jest, aby Llama 3 zasilała wiele różnych produktów i doświadczeń w naszej rodzinie aplikacji” – powiedział.
Strategia open-source
Wpływ wydania Llama 3 wykracza daleko poza Metę, biorąc pod uwagę filozoficzne zaangażowanie firmy w rozwijanie go jako modelu open-source, w wyraźnym kontraście do zamkniętego, zastrzeżonego podejścia przyjętego przez rywali, takich jak OpenAI z ChatGPT.
Udostępniając swoje modele językowe, Meta ma na celu pielęgnowanie ekosystemu rozwoju otwartej sztucznej inteligencji i pozycjonowanie rodziny Llama jako podstawy dla różnorodnych narzędzi i aplikacji tworzonych przez zewnętrznych programistów i badaczy.
„Bardzo ważne jest, aby zdać sobie sprawę, że innowacje zawsze opierają się na wcześniejszym wkładzie innych, czasem bardzo podobnych” – napisał na Twitterze w zeszłym miesiącu Yann LeCun, szef działu badań nad sztuczną inteligencją w firmie Meta. „Właśnie dlatego otwarte badania są tak ważne: sprawiają, że dziedzina rozwija się szybciej dla wszystkich.”
Z daleka wygląda to tak, jakby innowacje spontanicznie pojawiały się w próżni.
Ale bardzo ważne jest, aby zdać sobie sprawę, że innowacje zawsze opierają się na wcześniejszym wkładzie innych, czasem bardzo podobnych.
Właśnie dlatego otwarte badania są tak ważne: sprawiają, że pole… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) March 20, 2024
Ten otwarty etos już zrodził tętniącą życiem społeczność skupioną wokół Llamy. Niektóre z najbardziej zaawansowanych modeli językowych open-source, takie jak Mistral, Falcon i Beluga, zostały zbudowane poprzez dopracowanie wcześniejszego modelu Llama 2. Kilka z tych modeli społecznościowych dorównało lub przewyższyło GPT-3.5 w niektórych testach porównawczych.
Wydanie Llama-3 jako kolejnego fundamentalnego modelu open-source prawdopodobnie toruje drogę dla nowej generacji LLM, która ustawi poprzeczkę jeszcze wyżej pod względem jakości i wydajności w AI.
Eh, myślę, że open source dorówna lub przebije ten rok. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) January 1, 2024
Kwestionowanie dominacji OpenAI
Założenie open-source Llamy 3 stanowi potężne i wielowarstwowe wyzwanie dla obecnej dominacji rynkowej OpenAI, a także – co za tym idzie – dla innych zastrzeżonych modeli, takich jak Claude i Gemini.
Społeczność open-source wkrótce będzie mogła budować na Llama 3 i szybko iterować swoje wariacje, aby potencjalnie dopasować lub przekroczyć możliwości GPT-4 – tak jak zrobili to przeciwko GPT-3.5. Dzięki niższym kosztom szkolenia dzielonym między współtwórców, otwarty ekosystem może przeskoczyć rozwój zastrzeżonego modelu OpenAI, który wymaga ogromnych zasobów obliczeniowych i kosztów.
Jeśli oferty open-source regularnie osiągną parytet z ofertami komercyjnymi, przedsiębiorstwa mogą skłaniać się ku bardziej dostępnym i opłacalnym ekosystemom, takim jak Llama, zamiast polegać na OpenAI i płacić za nie. Obecnie GPT-4 jest najdroższym modelem na rynku pod względem kosztu za token.
Co więcej, społeczność open-source rośnie w siłę, gdy coraz więcej osób się w nią angażuje. Meta czerpie korzyści z posiadania ogromnej społeczności budującej na modelu, dopracowującej go, rozwijającej nowe technologie i ulepszającej go za darmo. Ułatwia to Meta opracowywanie lepszych wersji swojego modelu, jednocześnie zarabiając na nim poprzez alternatywne schematy, takie jak licencjonowanie go do użytku komercyjnego przez duże branże.
Innymi słowy, ciągła inercja i efekty sieciowe mogą utrudnić prawnie zastrzeżonym modelom OpenAI przyciągnięcie użytkowników i klientów w przyszłości.
Z pewnością OpenAI ma obecnie silną przewagę pod względem rentowności. Anthropic może pochwalić się najlepiej działającym LLM w przestrzeni AI. Ale Llama 3 będzie stanowić kolejny strategiczny atak ze strony Meta, mający na celu zmianę krajobrazu generatywnej sztucznej inteligencji.
Oczywiście wiele zależy od wydajności Llamy 3 w świecie rzeczywistym i jej przyjęcia w nadchodzącym roku. Ale społeczność open-source AI jest dość aktywna – i już kocha Llama-2. Sprawy staną się bardzo interesujące w ciągu najbliższych kilku miesięcy, zwłaszcza że GPT-5 OpenAI jest tuż za rogiem.
