CES 2025 | Nvidia представила суперкомпьютер Project DIGITS AI для разработчиков настольного ИИ
Компания Nvidia представила суперкомпьютер Project DIGITS AI для пользователей настольных компьютеров на выставке CES 2025. Суперкомпьютер работает на базе суперчипа GB10 Grace Blackwell Superchip, позволяющего пользователям настольных компьютеров запускать большие языковые модели (LLM) размером до 200 миллиардов параметров на одном устройстве и до 405 миллиардов параметров на двух устройствах, объединенных в сеть.
Разработка ИИ LLM требует мощных компьютеров, способных справиться с объемом обрабатываемых данных. Одним из показателей мощности LLM является количество параметров, с которыми он разрабатывается. Модели с большим числом параметров обычно показывают лучшие результаты в тестах ИИ на рассуждения и знания.
Большинство разработчиков настольных ИИ либо используют локальные графические процессоры, такие как Nvidia 4090(продается здесь, на Amazon), которые ограничены в производительности и размере модели, либо подписные облачные GPU-сервисы, которые стоят дороже. Объем оперативной памяти Nvidia 4090 ограничивает разработку LLM примерно 30 миллиардами параметров. К сожалению, последние модели ИИ с открытым исходным кодом значительно превосходят возможности Nvidia 4090. Например, Grok-1 от xAI - это модель с 314 миллиардами параметров.
Project DIGITS легко справляется с этими задачами в конфигурации из двух блоков, использующих сетевые адаптеры Nvidia ConnectX. Каждый блок содержит 20-ядерный ARM CPU, графический процессор Nvidia Blackwell, 128 ГБ DDR5X RAM и 4 ТБ NVMe-хранилища. Каждый графический процессор Blackwell способен производить 1 PetaFLOP вычислений FP4 AI. Хотя переход от FP16 или FP8 к FP4 снижает точность каждого вычисления, Nvidia приложила много усилий, чтобы обеспечить разработку LLM на FP4 с аналогичной точностью вывода. GPU также способен быстрее обрабатывать обучающие данные LLM, поскольку FP4 использует меньшее количество битов.
Основным преимуществом использования Project DIGITS по сравнению с другими решениями является возможность легко переносить проекты из локальных систем в облако, используя ту же архитектуру GPU Grace Blackwell, работающую на платформе Nvidia AI Enterprise. Заинтересованные разработчики ИИ могут зарегистрироваться на сайте Nvidia Project DIGITS чтобы получить уведомление о предполагаемом запуске в мае 2025 года устройства стоимостью $3 000+.
Источник(и)
NVIDIA ставит Грейс Блэквелл на каждый стол и на кончики пальцев каждого разработчика ИИ
NVIDIA Project DIGITS с новым суперчипом GB10 дебютирует как самый маленький в мире ИИ суперкомпьютер, способный выполнять 200B-параметрические модели
6 января 2025 г
NVIDIA ставит Грейс Блэквелл на каждый стол и на кончики пальцев каждого разработчика ИИ
CES-NVIDIA сегодня представила NVIDIA® Project DIGITS, персональный ИИ суперкомпьютер, который предоставляет исследователям ИИ, ученым, изучающим данные, и студентам по всему миру доступ к мощности платформы NVIDIA Grace Blackwell.
Project DIGITS оснащен новым суперчипом NVIDIA GB10 Grace Blackwell, обеспечивающим петафлопную производительность вычислений ИИ для создания прототипов, тонкой настройки и запуска больших моделей ИИ.
С помощью Project DIGITS пользователи могут разрабатывать и проводить вычисления на моделях, используя собственную настольную систему, а затем беспрепятственно развертывать модели в ускоренной облачной инфраструктуре или инфраструктуре центра обработки данных.
"ИИ станет основным в каждом приложении для каждой отрасли. С Project DIGITS суперчип Грейс Блэквелл становится доступным для миллионов разработчиков", - сказал Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA. "Размещение суперкомпьютера ИИ на столах каждого специалиста по обработке данных, исследователя ИИ и студента дает им возможность участвовать и формировать эпоху ИИ"
Суперчип GB10 обеспечивает петафлопную производительность энергоэффективного ИИ
Суперчип GB10 - это система-на-чипе (SoC) на базе архитектуры NVIDIA Grace Blackwell, обеспечивающая производительность ИИ до 1 петафлоп при точности FP4.
GB10 оснащен графическим процессором NVIDIA Blackwell с ядрами CUDA® последнего поколения и тензорными ядрами пятого поколения, соединенными через межчиповый интерфейс NVLink®-C2C с высокопроизводительным CPU NVIDIA Grace™, который включает 20 энергоэффективных ядер, построенных на архитектуре Arm. Компания MediaTek, лидер рынка SoC на базе архитектуры Arm, участвовала в разработке GB10, что способствовало достижению лучших в своем классе показателей энергоэффективности, производительности и возможностей подключения.
Суперчип GB10 позволяет Project DIGITS обеспечивать мощную производительность, используя только стандартную электрическую розетку. Каждый Project DIGITS оснащен 128 ГБ унифицированной, когерентной памяти и до 4 ТБ NVMe-накопителя. С помощью суперкомпьютера разработчики могут запускать до 200 миллиардов параметров больших языковых моделей для ускорения инноваций в области ИИ. Кроме того, используя сеть NVIDIA ConnectX®, два суперкомпьютера Project DIGITS AI могут быть соединены для запуска моделей с 405 миллиардами параметров.
Суперкомпьютеры Grace Blackwell AI в пределах досягаемости
Благодаря архитектуре Grace Blackwell предприятия и исследователи могут создавать прототипы, настраивать и тестировать модели на локальных системах Project DIGITS под управлением Linux на базе NVIDIA DGX OS, а затем беспрепятственно развертывать их на NVIDIA DGX Cloud™, ускоренных облачных инстансах или инфраструктуре центра обработки данных.
Это позволяет разработчикам создавать прототипы ИИ на Project DIGITS, а затем масштабировать их на облаке или в инфраструктуре центра обработки данных, используя ту же архитектуру Grace Blackwell и программную платформу NVIDIA AI Enterprise.
Пользователи Project DIGITS могут получить доступ к обширной библиотеке ПО NVIDIA AI для экспериментов и прототипирования, включая наборы для разработки ПО, инструменты оркестровки, фреймворки и модели, доступные в каталоге NVIDIA NGC и на портале NVIDIA Developer. Разработчики могут настраивать модели с помощью фреймворка NVIDIA NeMo™, ускорять науку о данных с помощью библиотек NVIDIA RAPIDS™ и запускать общие фреймворки, такие как PyTorch, Python и Jupyter notebooks.
Для создания агентных приложений ИИ пользователи также могут использовать NVIDIA Blueprints и микросервисы NVIDIA NIM™, которые доступны для исследований, разработок и тестирования в рамках программы для разработчиков NVIDIA. Когда приложения ИИ готовы перейти от экспериментов к производственным средам, лицензия NVIDIA AI Enterprise обеспечивает безопасность корпоративного уровня, поддержку и выпуски программного обеспечения NVIDIA AI.
Доступность
Project DIGITS будет доступен в мае у NVIDIA и ведущих партнеров по цене от $3,000. Подпишитесь на уведомления уже сегодня.
