Компания Meta представила ИИ Movie Gen для создания видео и музыки с помощью текстовых подсказок, чтобы помочь кинематографистам сэкономить время и деньги

Компания Meta представила Movie Gen - искусственный интеллект, который может создавать и редактировать видео с музыкой и звуковыми эффектами, используя текстовые подсказки. ИИ обладает самыми современными возможностями по созданию видео и аудио, а его характеристики и реалистичность не могут сравниться ни с одним другим ИИ.

Movie Gen - это модель ИИ с 30 миллиардами параметров, способная генерировать 16-секундные HD-клипы на основе текстовых подсказок. ИИ был предварительно обучен на одном миллиарде изображений и 100 миллионах видео. Видео были отобраны из гораздо большей коллекции для улучшения качества обучения. Movie Gen Audio - это модель ИИ с 13 миллиардами параметров, способная генерировать звуковые эффекты и музыку с частотой 48 кГц из текстовых подсказок. ИИ был предварительно обучен на одном миллионе часов аудио. Для тонкой настройки ИИ использовались отзывы людей и высококачественные аудио- и видеопримеры.

Получив фотографию человека и его описание в сцене, ИИ может сгенерировать реалистичное видео с анимированным актером и сценой. ИИ был обучен 22 типам движения и положения камеры, таким как широкий угол, наклон вверх и грузовик влево, что позволяет режиссерам задавать виртуальное расположение и движения камеры, как при реальной съемке. Режиссеры, которые настаивают на создании фильмов с реальными актерами и декорациями, могут использовать первоклассную цифровую зеркальную камеру , например, новейшую Nikon Z6III на Amazon. Уникально то, что Movie Gen способен редактировать видео точно и реалистично. Другие искусственные интеллекты в настоящее время не могут создать такой качественный монтаж, как Movie Gen Edit.

Текстовые подсказки могут также добавлять в ролики профессионально звучащее аудио, включая звуковые эффекты и музыкальные партитуры. ИИ может создавать музыку длиной в несколько минут, но ограничен 16-секундными видеоклипами, поскольку для этого требуются огромные компьютерные ресурсы. Звук следует за ритмами в сцене и может генерировать внеэкранные звуки, например, щебетание птиц в лесу, основываясь на контексте сцены.

Компания Meta работает над добавлением защитных средств к Movie Gen и выпустит ИИ, как только почувствует уверенность в его безопасности.