В гонке за доминирование искусственного интеллекта растет интерес к следующему крупному шагу Meta, и после июльского запуска генеративной текстовой модели Llama 2, прочно утвердившейся на рынке, наблюдатели за ИИ с нетерпением ожидают признаков появления Llama 3
Если верить отраслевым слухам, технологический гигант может объявить о продолжении своего успеха с открытым исходным кодом в начале 2024 года.
Хотя Meta официально не подтвердила эти слухи, Марк Цукерберг недавно пролил свет на будущее LLM (Large Language Model) от Meta, признав, что Llama 3 находится в разработке. Однако он сказал
, что в то время как приоритетом является улучшение Llama 2, чтобы сделать ее более доступной для потребителей, новая основная модель искусственного интеллекта все еще находится в разработке.
«Мы постоянно тренируем разные модели», — сказал он в подкаст-интервью о взаимодействии искусственного интеллекта и метавселенной. «Мы обучили Llama 2 и сделали ее доступной в виде модели с открытым исходным кодом».
Он продолжил: «Но да, мы также работаем над будущей базовой моделью, и об этом нет никакой новой информации или новостей. Я не знаю точно, когда это будет завершено».
Met официально не подтвердила этот слух, но схема циклов разработки и значительные инвестиции в оборудование позволяют предположить, что запуск не за горами; Llama 1 и Llama 2 проходят обучение с интервалом в шесть месяцев, и если этот цикл продолжится, то OpenAI GPT-4 и Llama 2 должны быть запущены. Новая Llama 3, которая считается эквивалентной, может быть запущена в первой половине 2024 года.
Пользователь Reddit llamaShill проводит исчерпывающий анализ циклов разработки предыдущих моделей Meta.
Он утверждает, что разумно предположить, что обучение Llama 1 длится с июля 2022 по январь 2023 года, обучение Llama 2 — до июля 2023 года, а обучение Llama 3 — с июля 2023 по январь 2024 года. Эти идеи согласуются с заявлением Меты о неустанном стремлении к совершенству ИИ и желании продемонстрировать следующую эволюцию, способную соперничать с возможностями GPT-4
Тем временем технологические форумы и социальные сети полны обсуждений того, как эта новая итерация восстановит конкурентные преимущества Meta. Техническое сообщество также определяет вероятные сроки, основываясь на имеющейся информации
Что мы услышали на социальной встрече MetaGenAI:
«У нас есть компьютеры для обучения Llama-3 и Llama-4, Llama-3 будет сопоставима с GPT-4».
«Когда Llama-3 будет так же хороша, как GPT-4, вы сделаете ее с открытым исходным кодом?
«Да, сделаем.
— jason (@agikoala) 25 августа 2023 года
‘
Между тем, партнерство с Dell по предоставлению Llama 2 на месте для бизнес-пользователей — это стратегический и своевременный шаг, который демонстрирует приверженность компании управлению и безопасности персональных данных. Эта приверженность имеет решающее значение, поскольку Meta готовится к борьбе с такими гигантами, как OpenAI и Google.
Meta также внедряет искусственный интеллект во многие свои продукты, и имеет смысл позаботиться о том, чтобы не отстать от них; Llama 2 обеспечивает работу искусственного интеллекта Meta и других сервисов, таких как чатбот Meta, генеративные сервисы Meta и очки Meta AI.
В разгар всех этих спекуляций Марк Цукерберг сделал несколько интригующих и загадочных заявлений о том, что Llama 3 будет с открытым исходным кодом. В недавнем подкасте с компьютерным ученым Рексом Фридманом Цукерберг сказал: «Нам нужен процесс, чтобы сделать это и сделать это безопасным».
Llama 2 имеет многоуровневую архитектуру с версиями, предлагающими 7, 13 и 70 миллиардов параметров, каждая из которых подходит для разных уровней сложности и вычислительной мощности. Параметры LLM работают как нейронные строительные блоки, определяющие способность модели понимать и генерировать язык.
Этот мощный искусственный интеллект был обучен на огромном корпусе из 2 миллиардов лексем, что подтверждает его способность ориентироваться и генерировать человекоподобный текст по широкому спектру тем и контекстов
Image courtesy of Meta
Отчасти это связано с аппаратными основами: как сообщает TCN, Meta хранит одно из самых мощных устройств для обучения ИИ, Nvidia H100, в своем центре обработки данных.
Однако, несмотря на всю шумиху и спекуляции, правда остается окутанной завесой коммерческой тайны.
Намерения Met конкурировать в области искусственного интеллекта во многом зависят от времени, необходимого для обучения, инвестиций в оборудование и вопросов, связанных с открытым программным обеспечением. С другой стороны, ожидания растут, как и вероятность запуска Frame 3 в 2024 году.
