Op een hoogstaand AI-evenement in Londen gaven leidinggevenden van Meta dinsdag de eerste officiële bevestiging en details over de op handen zijnde release van Llama 3, de langverwachte volgende iteratie van het open-source grote taalmodel van het bedrijf.
“Binnen de volgende maand, eigenlijk minder, hopelijk in een zeer korte periode, hopen we te beginnen met het uitrollen van onze nieuwe suite van next-generation foundation modellen, Llama 3,” kondigde Nick Clegg, Meta’s president van global affairs, aan op Meta AI Day Londen, meldde TechCrunch.
Clegg zei dat Llama 3 bestaat uit “een aantal verschillende modellen met verschillende mogelijkheden, verschillende veelzijdigheid” die in de loop van dit jaar zullen worden uitgerold.
Als Llama 3 eenmaal is gelanceerd, zal het naar verwachting het meest geavanceerde open-source model zijn dat beschikbaar is, en Meta heeft zwaar geïnvesteerd in de ontwikkeling ervan. Het model is getraind met 140 miljard parameters, zegt Meta, twee keer de capaciteit van Llama 2. Mark Zuckerburg, CEO van Meta, had in januari al wat technische details bekendgemaakt.
“We bouwen een enorme rekeninfrastructuur om onze toekomstige roadmap te ondersteunen, inclusief 350k H100s tegen het einde van dit jaar – en in totaal bijna 600k H100s equivalenten aan rekenkracht als je andere GPU’s meerekent,” zei Zuckerberg toen. Deze hoeveelheid rekenkracht is aanzienlijk groter dan die gebruikt door OpenAI om GPT-4 te trainen, waarvoor naar schatting ongeveer 25.000 GPU’s nodig waren in 90 tot 100 dagen.
Zuckerberg onthulde ook dat Meta AI, zijn AI-assistent, zal worden aangedreven door Llama 3.
Chris Cox, Chief Product Officer, zei dat Llama 3 zal worden geïntegreerd in Meta.
“Ons plan zal zijn om Llama 3 meerdere verschillende producten en ervaringen te laten aandrijven in onze familie van apps,” zei hij.
De open-source strategie
De open-source strategie
De open-source strategie
De open-source strategie.
De impact van de release van Llama 3 reikt veel verder dan Meta, gezien de filosofische inzet van het bedrijf om het te ontwikkelen als een open-source model, in duidelijk contrast met de gesloten, propriëtaire aanpak van rivalen zoals OpenAI met ChatGPT.
Door het open-sourcen van hun taalmodellen, wil Meta een ecosysteem van open AI-ontwikkeling voeden en de Llama-familie positioneren als de basis voor een breed scala aan tools en toepassingen gemaakt door externe ontwikkelaars en onderzoekers.
“Het is heel belangrijk om te beseffen dat innovaties altijd voortbouwen op eerdere bijdragen van anderen, soms zeer vergelijkbare bijdragen,” twitterde Yann LeCun, hoofd AI-onderzoek van Meta, vorige maand. “Daarom is open onderzoek zo belangrijk: het zorgt ervoor dat het veld sneller vooruitgaat voor iedereen.”
Van een afstandje lijkt het alsof innovaties spontaan uit het luchtledige komen vallen.
Maar het is heel belangrijk om te beseffen dat innovaties altijd voortbouwen op eerdere bijdragen van anderen, soms zeer vergelijkbare bijdragen.
Daarom is open onderzoek zo belangrijk: het maakt het veld… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) Maart 20, 2024
Dit open ethos heeft al geleid tot een levendige gemeenschap rond Llama. Enkele van de meest geavanceerde open-source taalmodellen van dit moment, zoals Mistral, Falcon en Beluga, zijn gebouwd door het verfijnen van het eerdere Llama 2 basismodel. Verschillende van deze community modellen hebben GPT-3.5 geëvenaard of overtroffen op bepaalde benchmarks.
Het uitbrengen van Llama-3 als een ander open-source basismodel maakt waarschijnlijk de weg vrij voor een nieuwe generatie LLM’s die de lat nog hoger zullen leggen in termen van kwaliteit en efficiëntie in AI.
Eh, ik denk dat open source dit jaar zal evenaren of overtreffen. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) Januari 1, 2024
OpenAI dominantie uitdagen
Llama 3’s open-source uitgangspunt vormt een formidabele en gelaagde uitdaging voor OpenAI’s huidige marktdominantie en – in het verlengde daarvan – voor andere propriëtaire modellen zoals Claude en Gemini.
De open-source gemeenschap zal snel kunnen voortbouwen op Llama 3 en hun variaties snel kunnen aanpassen om de mogelijkheden van GPT-4 te evenaren of zelfs te overtreffen – net zoals ze dat tegen GPT-3.5 hebben gedaan. Met lagere trainingskosten voor alle deelnemers zou het open ecosysteem een voorsprong kunnen nemen op OpenAI’s eigen modelontwikkeling, die enorme rekenkracht en kosten met zich meebrengt.
Als het open-source aanbod regelmatig gelijkwaardig wordt aan het commerciële aanbod, zullen bedrijven wellicht eerder kiezen voor de meer toegankelijke en kosteneffectieve ecosystemen zoals Llama dan te vertrouwen op en te betalen voor OpenAI. Momenteel is GPT-4 het duurste model op de markt in termen van kosten per token.
Verder wordt de open-source gemeenschap sterker naarmate er meer mensen bij betrokken raken. Meta profiteert van een enorme gemeenschap die bovenop het model bouwt, het verfijnt, nieuwe technologieën ontwikkelt en het gratis verbetert. Dit maakt het makkelijker voor Meta om betere versies van het model te ontwikkelen terwijl het geld oplevert via alternatieve schema’s zoals licenties voor commercieel gebruik door grote industrieën.
Met andere woorden, voortdurende traagheid en netwerkeffecten zouden het moeilijker kunnen maken voor OpenAI’s propriëtaire modellen om in de toekomst gebruikers en klanten aan te trekken.
OpenAI heeft momenteel een sterke voorsprong op het gebied van winstgevendheid. Anthropic kan bogen op de best presterende LLM in de AI-ruimte. Maar Llama 3 zal een nieuwe strategische aanval zijn van Meta om het landschap van generatieve AI omver te werpen.
Natuurlijk hangt veel af van de prestaties en de acceptatie van Llama 3 in de praktijk in het komende jaar. Maar de open-source AI-gemeenschap is behoorlijk actief – en is al dol op Llama-2. Het zal de komende maanden erg interessant worden, vooral met OpenAI’s GPT-5 om de hoek.
