In occasione di un evento di alto profilo sull’intelligenza artificiale tenutosi a Londra, martedì i dirigenti di Meta hanno fornito la prima conferma ufficiale e i primi dettagli sull’imminente rilascio di Llama 3, l’attesissima prossima iterazione del modello linguistico open-source dell’azienda.
“Entro il prossimo mese, in realtà meno, speriamo in un periodo di tempo molto breve, speriamo di iniziare a distribuire la nostra nuova suite di modelli di base di nuova generazione, Llama 3”, ha annunciato Nick Clegg, presidente degli affari globali di Meta, al Meta AI Day di Londra, secondo quanto riportato da TechCrunch.
Clegg ha dichiarato che Llama 3 consiste in “una serie di modelli diversi con diverse capacità e versatilità” che inizieranno a essere distribuiti nel corso di quest’anno.
Una volta lanciato, Llama 3 dovrebbe essere il modello open-source più avanzato disponibile, con Meta che ha investito molto nel suo sviluppo. Meta ha dichiarato che il modello è stato addestrato con 140 miliardi di parametri, il doppio della capacità di Llama 2. Il CEO di Meta, Mark Zuckerburg, aveva anticipato alcuni dettagli tecnici a gennaio.
“Stiamo costruendo una massiccia infrastruttura di calcolo per supportare la nostra roadmap futura, che comprende 350.000 H100 entro la fine di quest’anno – e complessivamente quasi 600.000 H100 equivalenti di calcolo se si includono altre GPU”, aveva dichiarato Zuckerberg all’epoca. Questa quantità di potenza di calcolo è significativamente superiore a quella utilizzata da OpenAI per addestrare GPT-4, che si stima abbia richiesto circa 25.000 GPU in 90-100 giorni.
Zuckerberg ha anche rivelato che Meta AI, il suo assistente di intelligenza artificiale, sarà alimentato da Llama 3.
Chris Cox, Chief Product Officer, ha dichiarato che Llama 3 sarà integrato in Meta.
“Il nostro piano sarà quello di avere Llama 3 che alimenta diversi prodotti ed esperienze in tutta la nostra famiglia di app”, ha dichiarato.
La strategia open-source
L’impatto del rilascio di Llama 3 si estende ben oltre Meta, dato l’impegno filosofico dell’azienda a svilupparlo come modello open-source, in netto contrasto con l’approccio chiuso e proprietario adottato da rivali come OpenAI con ChatGPT.
Con l’open-sourcing dei propri modelli linguistici, Meta intende alimentare un ecosistema di sviluppo dell’intelligenza artificiale aperto e posizionare la famiglia Llama come base per una vasta gamma di strumenti e applicazioni creati da sviluppatori e ricercatori di terze parti.
“È molto importante capire che le innovazioni si basano sempre su contributi precedenti di altri, a volte molto simili”, ha twittato il mese scorso Yann LeCun, responsabile della ricerca sull’intelligenza artificiale di Meta. “Per questo la ricerca aperta è così importante: fa progredire il campo più velocemente per tutti. “
Da lontano, sembra che le innovazioni appaiano spontaneamente dal vuoto.
Ma è molto importante capire che le innovazioni si basano sempre su contributi precedenti di altri, a volte molto simili.
Ecco perché la ricerca aperta è così importante: rende il campo… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) March 20, 2024
Questa etica aperta ha già generato una vivace comunità che si riunisce intorno a Llama. Alcuni dei modelli linguistici open-source più avanzati oggi, come Mistral, Falcon e Beluga, sono stati costruiti perfezionando il precedente modello di base di Llama 2. Molti di questi modelli comunitari hanno eguagliato o superato GPT-3.5 in alcuni benchmark.
Il rilascio di Llama-3 come altro modello di base open-source apre probabilmente la strada a una nuova generazione di LLM che fisserà un livello ancora più alto in termini di qualità ed efficienza nell’IA.
Eh, credo che l’open source sarà all’altezza di quest’anno o lo batterà. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) January 1, 2024
Sfidare il dominio di OpenAI
Llama 3, con le sue premesse open-source, rappresenta una sfida formidabile e a più livelli all’attuale dominio di mercato di OpenAI e, per estensione, ad altri modelli proprietari come Claude e Gemini.
La comunità open-source sarà presto in grado di costruire su Llama 3 e di iterare rapidamente le proprie variazioni per potenzialmente eguagliare o superare le capacità di GPT-4, proprio come ha fatto con GPT-3.5. Con costi di formazione più bassi e condivisi tra i partecipanti, l’ecosistema aperto potrebbe superare lo sviluppo del modello proprietario di OpenAI, che richiede risorse di calcolo e costi immensi.
Se le offerte open-source dovessero raggiungere regolarmente la parità con quelle commerciali, le aziende potrebbero orientarsi verso ecosistemi più accessibili e convenienti come Llama, piuttosto che affidarsi e pagare OpenAI. Attualmente, GPT-4 è il modello più costoso sul mercato in termini di costo per token.
Inoltre, la comunità open-source si rafforza con il coinvolgimento di più persone. Meta beneficia di un’enorme comunità che si basa sul modello, lo perfeziona, sviluppa nuove tecnologie e lo migliora gratuitamente. Questo rende più facile per Meta sviluppare versioni migliori del suo modello, monetizzandolo attraverso schemi alternativi come la concessione di licenze per l’uso commerciale da parte di grandi industrie.
In altre parole, la continua inerzia e gli effetti di rete potrebbero rendere più difficile per i modelli proprietari di OpenAI attrarre utenti e clienti in futuro.
Certo, OpenAI detiene attualmente un forte vantaggio in termini di redditività. Anthropic può vantarsi di avere il LLM con le migliori prestazioni nello spazio AI. Ma Llama 3 rappresenterà un altro colpo strategico di Meta per sconvolgere il panorama dell’IA generativa.
Naturalmente, molto dipende dalle prestazioni e dall’adozione di Llama 3 nel mondo reale nel corso del prossimo anno. Ma la comunità dell’IA open-source è molto attiva e già ama Llama-2. Le cose si faranno molto interessanti nei prossimi mesi, soprattutto con il GPT-5 di OpenAI proprio dietro l’angolo.
