Meta's Llama 4 тренируется на более чем 100 000 графических процессорах Nvidia H100

Компания Meta недавно выпустила новое обновление о Llama 4, своей грядущей крупной языковой модели. В недавнем звонке по поводу прибыли генеральный директор Марк Цукерберг рассказал, что они обучают модели Llama 4 на кластере, состоящем из более 100 000 графических процессоров Nvidia H100-больше, чем все, что он видел из того, что делают другие.

Эта новая большая языковая модель, выход которой ожидается в начале 2025 года, сначала развернет свои меньшие версии. Хотя подробностей о ее специфических способностях не так много, Цукерберг намекнул, что Llama 4 будет обладать новыми возможностями, улучшенными навыками рассуждения и в целом станет быстрее.

Подход Мета к созданию Llama 4 продолжает свою модель - делать модели бесплатными для скачивания, в отличие от OpenAI и Google, которые ограничивают доступ только через API. Такая модель особенно популярна среди стартапов и исследователей, желающих получить больше свободы в использовании ИИ.

С такой массивной вычислительной установкой потребность в энергии также велика: по оценкам, она составляет 150 мегаватт - в пять раз больше, чем у самого большого суперкомпьютера национальной лаборатории США. Бюджет Мета отражает этот масштаб: ожидается, что в 2024 году расходы на инфраструктуру достигнут 40 миллиардов долларов, что на 42% больше, чем в 2023 году.

Даже с учетом таких значительных расходов, финансовое положение Meta остается стабильным: продажи выросли на 22%, в основном благодаря доходам от рекламы, что помогло сбалансировать 9-процентный рост операционных расходов.