На високопоставено събитие за изкуствен интелект в Лондон във вторник ръководството на Meta предостави първото официално потвърждение и подробности за предстоящото пускане на Llama 3, дългоочакваната следваща итерация на големия езиков модел с отворен код на компанията.
„В рамките на следващия месец, всъщност по-малко, надяваме се в много кратък период от време, се надяваме да започнем да пускаме нашия нов пакет от следващо поколение модели на основата на Llama 3“, обяви Ник Клег, президент по глобалните въпроси на Meta, на Meta AI Day London, съобщи TechCrunch.
Клег каза, че Llama 3 се състои от „няколко различни модела с различни възможности, различна гъвкавост“, които ще започнат да се разпространяват през тази година.
След като стартира, се очаква Llama 3 да бъде най-усъвършенстваният наличен модел с отворен код, като Meta ще инвестира значителни средства в разработването му. Според Meta моделът е обучен със 140 милиарда параметри, което е два пъти повече от капацитета на Llama 2. Главният изпълнителен директор на Meta Марк Зукърбърг разкри някои технически подробности през януари.
„Изграждаме масивна изчислителна инфраструктура в подкрепа на бъдещата ни пътна карта, включително 350 хил. изчислителни процесора H100 до края на тази година – и като цяло почти 600 хил. изчислителни еквивалента H100, ако включите и други графични процесори“, каза тогава Зукърбърг. Това количество изчислителна мощност е значително по-голямо от използваната от OpenAI за обучението на GPT-4, за което според оценките са били необходими около 25 000 графични процесора за 90 до 100 дни.
Зукърбърг също така разкри, че Meta AI, неговият асистент с изкуствен интелект, ще се захранва от Llama 3.
Крис Кокс, главен продуктов директор, заяви, че Llama 3 ще бъде интегрирана в Meta.
„Нашият план е Llama 3 да задвижва множество различни продукти и преживявания в нашето семейство от приложения“, каза той.
Стратегията с отворен код
Влиянието на пускането на Llama 3 се разпростира далеч отвъд Meta, като се има предвид философският ангажимент на компанията да я разработи като модел с отворен код, в ясен контраст със затворения, патентован подход, възприет от конкуренти като OpenAI с ChatGPT.
Като предоставя своите езикови модели като отворен източник, Meta има за цел да развие екосистема за отворена разработка на изкуствен интелект и да позиционира семейството Llama като основа за разнообразни инструменти и приложения, създадени от разработчици и изследователи от трети страни.
„Много е важно да се осъзнае, че иновациите винаги се основават на предишен принос от други хора, понякога много подобен“, написа миналия месец в Twitter Ян Лекун, ръководител на изследователския отдел за изкуствен интелект на Meta. „Ето защо отворените изследвания са толкова важни: благодарение на тях областта напредва по-бързо за всички.“
Отдалеч изглежда, че иновациите се появяват спонтанно от вакуума.
Но е много важно да се осъзнае, че иновациите винаги се основават на предишен принос от други хора, понякога много подобен.
Ето защо отворените изследвания са толкова важни: те правят полето… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) March 20, 2024
Тази отворена етика вече е породила жизнена общност, която се обединява около Llama. Някои от най-усъвършенстваните езикови модели с отворен код днес, като Mistral, Falcon и Beluga, са създадени чрез прецизиране на по-ранния модел на основата на Llama 2. Няколко от тези модели на общността са достигнали или са надминали GPT-3.5 при определени сравнителни тестове.
Пускането на Llama-3 като друг основополагащ модел с отворен код вероятно проправя пътя за ново поколение LLM, които ще поставят още по-висока летва по отношение на качеството и ефективността на изкуствения интелект.
Ех, мисля, че тази година отвореният код ще се равнява или ще победи. pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) January 1, 2024
Преодоляване на господството на OpenAI
Предпоставката за отворен код на Llama 3 представлява огромно и многопластово предизвикателство за сегашното пазарно господство на OpenAI и – в последствие – за други патентовани модели като Claude и Gemini.
Общността с отворен код скоро ще може да надгражда Llama 3 и бързо да разработва свои варианти, за да достигне или надмине възможностите на GPT-4 – точно както направи срещу GPT-3.5. С по-ниските разходи за обучение, които се споделят от всички участници, отворената екосистема може да изпревари разработването на собствени модели на OpenAI, което изисква огромни изчислителни ресурси и разходи.
Ако предложенията с отворен код редовно достигат равностойност с търговските предложения, предприятията могат да се насочат към по-достъпните и икономически ефективни екосистеми като Llama, вместо да разчитат и да плащат за OpenAI. Понастоящем GPT-4 е най-скъпият модел на пазара от гледна точка на разходите за един токен.
Освен това общността с отворен код става все по-силна, тъй като в нея се включват все повече хора. Мета печели от наличието на огромна общност, която надгражда модела, доусъвършенства го, разработва нови технологии и го подобрява безплатно. Това улеснява Meta да разработва по-добри версии на своя модел, като същевременно го монетизира чрез алтернативни схеми, като например лицензирането му за търговска употреба от големи индустрии.
С други думи, продължаването на инерцията и мрежовите ефекти може да затрудни привличането на потребители и клиенти на патентованите модели на OpenAI в бъдеще.
Със сигурност, OpenAI понастоящем има силна преднина по отношение на рентабилността. Anthropic може да се похвали с най-добре представящия се LLM в областта на изкуствения интелект. Но Llama 3 ще представлява поредния стратегически удар на Meta, който ще преобърне пейзажа на генеративния ИИ.
Разбира се, много зависи от реалното представяне и приемане на Llama 3 през следващата година. Но общността на ИИ с отворен код е доста активна – и вече обича Llama-2. Нещата ще станат много интересни през следващите няколко месеца, особено с GPT-5 на OpenAI, който е точно зад ъгъла.
