Auf einer hochkarätigen KI-Veranstaltung in London gaben Meta-Führungskräfte am Dienstag die erste offizielle Bestätigung und Details über die bevorstehende Veröffentlichung von Llama 3, der mit Spannung erwarteten nächsten Iteration des Open-Source-Großsprachenmodells des Unternehmens.
„Wir hoffen, dass wir innerhalb des nächsten Monats, eigentlich sogar in weniger als einem Monat, hoffentlich in sehr kurzer Zeit, mit der Einführung unserer neuen Suite von Basismodellen der nächsten Generation, Llama 3, beginnen können“, verkündete Nick Clegg, Metas Präsident für globale Angelegenheiten, auf dem Meta AI Day in London, wie TechCrunch berichtet.
Clegg sagte, dass Llama 3 aus „einer Reihe verschiedener Modelle mit unterschiedlichen Fähigkeiten und Vielseitigkeiten“ besteht, die im Laufe dieses Jahres auf den Markt kommen werden.
Es wird erwartet, dass Llama 3 nach seiner Markteinführung das fortschrittlichste Open-Source-Modell sein wird, in dessen Entwicklung Meta stark investiert hat. Laut Meta wurde das Modell mit 140 Milliarden Parametern trainiert, was der doppelten Kapazität von Llama 2 entspricht. Meta-CEO Mark Zuckerburg hatte bereits im Januar einige technische Details angedeutet.
„Wir bauen eine massive Recheninfrastruktur auf, um unsere zukünftige Roadmap zu unterstützen, einschließlich 350k H100s bis Ende dieses Jahres – und insgesamt fast 600k H100s Äquivalente an Rechenleistung, wenn man andere GPUs mit einbezieht“, sagte Zuckerberg damals. Diese Menge an Rechenleistung ist deutlich größer als die, die OpenAI für das Training von GPT-4 benötigt, wofür schätzungsweise 25.000 GPUs in 90 bis 100 Tagen benötigt wurden.
Zuckerberg enthüllte auch, dass Meta AI, sein KI-Assistent, von Llama 3 angetrieben werden soll.
Chris Cox, Chief Product Officer, sagte, dass Llama 3 in Meta integriert werden soll.
„Unser Plan ist es, dass Llama 3 mehrere verschiedene Produkte und Erfahrungen in unserer App-Familie antreibt“, sagte er.
Die Open-Source-Strategie
Die Auswirkungen der Veröffentlichung von Llama 3 gehen weit über Meta hinaus, da sich das Unternehmen philosophisch dazu verpflichtet hat, es als Open-Source-Modell zu entwickeln, was in deutlichem Gegensatz zu dem geschlossenen, proprietären Ansatz steht, den Konkurrenten wie OpenAI mit ChatGPT verfolgen.
Durch das Open-Sourcing seiner Sprachmodelle möchte Meta ein Ökosystem für die Entwicklung offener KI fördern und die Llama-Familie als Grundlage für eine Vielzahl von Tools und Anwendungen positionieren, die von Drittentwicklern und Forschern erstellt werden.
„Es ist sehr wichtig zu erkennen, dass Innovationen immer auf früheren Beiträgen von anderen aufbauen, manchmal sogar auf sehr ähnlichen“, twitterte Yann LeCun, Metas Leiter der KI-Forschung, letzten Monat. „Deshalb ist offene Forschung so wichtig: Sie bringt das Feld für alle schneller voran.“
Aus der Ferne sieht es so aus, als würden Innovationen spontan aus dem Vakuum auftauchen.
Aber es ist sehr wichtig zu erkennen, dass Innovationen immer auf früheren Beiträgen anderer aufbauen, die manchmal sehr ähnlich sind.
Deshalb ist offene Forschung so wichtig: Sie macht das Feld… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) März 20, 2024
Dieses offene Ethos hat bereits eine lebendige Gemeinschaft hervorgebracht, die sich um Llama schart. Einige der fortschrittlichsten Open-Source-Sprachmodelle, wie Mistral, Falcon und Beluga, wurden durch Feinabstimmung des früheren Llama 2-Grundmodells entwickelt. Mehrere dieser Community-Modelle haben bei bestimmten Benchmarks mit GPT-3.5 gleichgezogen oder es übertroffen.
Die Veröffentlichung von Llama-3 als weiteres Open-Source-Grundmodell ebnet wahrscheinlich den Weg für eine neue Generation von LLMs, die die Messlatte in Bezug auf Qualität und Effizienz in der KI noch höher legen werden.
Ich denke, Open Source wird dieses Jahr gleichziehen oder übertreffen. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) Januar 1, 2024
Herausforderung der OpenAI-Dominanz
Die Open-Source-Prämisse von Llama 3 stellt eine gewaltige und vielschichtige Herausforderung für die derzeitige Marktdominanz von OpenAI und – im weiteren Sinne – für andere proprietäre Modelle wie Claude und Gemini dar.
Die Open-Source-Gemeinschaft wird bald in der Lage sein, auf Llama 3 aufzubauen und ihre Variationen schnell zu verbessern, um die Fähigkeiten von GPT-4 zu erreichen oder zu übertreffen – genau wie sie es bei GPT-3.5 getan haben. Mit niedrigeren Trainingskosten, die von allen Mitwirkenden getragen werden, könnte das offene Ökosystem die proprietäre Modellentwicklung von OpenAI überholen, die immense Rechenressourcen und Kosten erfordert.
Sollten Open-Source-Angebote regelmäßig mit kommerziellen Angeboten gleichziehen, könnten sich Unternehmen eher für die leichter zugänglichen und kostengünstigeren Ökosysteme wie Llama entscheiden, als sich auf OpenAI zu verlassen und dafür zu bezahlen. Derzeit ist GPT-4, gemessen an den Kosten pro Token, das teuerste Modell auf dem Markt:
Außerdem wird die Open-Source-Gemeinschaft immer stärker, je mehr Menschen sich an ihr beteiligen. Meta profitiert von einer riesigen Community, die auf dem Modell aufbaut, es verfeinert, neue Technologien entwickelt und es kostenlos verbessert. Das macht es für Meta einfacher, bessere Versionen des Modells zu entwickeln und es durch alternative Systeme wie die Lizenzierung für die kommerzielle Nutzung durch große Unternehmen zu monetarisieren.
Mit anderen Worten: Durch anhaltende Trägheit und Netzwerkeffekte könnte es für die proprietären Modelle von OpenAI in Zukunft schwieriger werden, Nutzer und Kunden zu gewinnen.
Sicherlich hat OpenAI derzeit einen großen Vorsprung, was die Rentabilität angeht. Anthropic kann sich rühmen, das leistungsstärkste LLM im Bereich der KI zu haben. Aber Llama 3 wird ein weiterer strategischer Schlag von Meta sein, um die Landschaft der generativen KI auf den Kopf zu stellen.
Natürlich hängt viel davon ab, wie sich Llama 3 in der Praxis bewährt und im kommenden Jahr angenommen wird. Aber die Open-Source-KI-Gemeinschaft ist sehr aktiv – und liebt bereits Llama-2. Die Dinge werden in den nächsten Monaten sehr interessant werden, vor allem, wenn OpenAIs GPT-5 vor der Tür steht
