Новая модель Gemini 2.0 от Google с экспериментальными агентами ИИ уже здесь

Google завершает 2024 год с размахом. В среду гигант из Маунтин-Вью объявил о шквале новостей в области ИИ, включая выпуск Gemini 2.0, совершенно новой языковой модели с расширенными мультимодальными возможностями. Новая модель открывает то, что Google называет "агентской эрой", когда виртуальные агенты ИИ смогут выполнять задания от Вашего имени.

Первоначально Google выпустит только одну модель из семейства Gemini 2.0: Gemini 2.0 Flash experimentalсверхбыстрая, легкая модель с поддержкой мультимодального ввода и вывода. Она может генерировать изображения вперемешку с текстом и многоязычным аудио, а также легко подключаться к поиску Google, выполнению кода и другим инструментам. В настоящее время эти возможности находятся в предварительной версии для разработчиков и бета-тестеров. Несмотря на небольшой размер, 2.0 Flash превосходит Gemini 1.5 Pro в нескольких областях, таких как фактология, рассуждения, кодирование, математика и т.д. - и это при вдвое большей скорости. Обычные пользователи могут опробовать оптимизированную для чата версию Gemini 2.0 Flash в Интернете уже сегодня, а в скором времени она появится и в мобильном приложении Gemini.

Google также демонстрирует несколько впечатляющих проектов, созданных с помощью Gemini 2.0. Во-первых, это обновленная версия Project Astra, экспериментального виртуального ИИ-агента, который Google впервые продемонстрировал в мае 2024 года. В Gemini 2.0 он теперь может вести беседу на нескольких языках; использовать такие инструменты, как Google Search, Lens и Maps; запоминать информацию из Ваших прошлых бесед с ним и понимать язык с задержкой, равной человеческому разговору. Project Astra предназначен для работы на смартфонах и очках, хотя в настоящее время он ограничен небольшой группой доверенных тестеров. Желающие опробовать прототип на своих телефонах Android могут присоединиться к списку ожидания здесь. Также есть вот эта очень классная демонстрация API Multimodal Liveкоторый в некоторой степени похож на Project Astra и позволяет Вам взаимодействовать с чатботом в режиме реального времени, используя видео, голос и совместное использование экрана.

Далее Project Marinerэкспериментальное расширение для браузера Chrome, которое может просматривать Интернет и выполнять задания за Вас. Расширение, которое в настоящее время доступно для избранных тестеров в США, использует мультимодальные возможности Gemini 2.0 "для понимания и осмысления информации на экране Вашего браузера, включая пиксели и веб-элементы, такие как текст, код, изображения и формы" Google признает, что технология все еще находится в зачаточном состоянии и не всегда надежна. Но даже в своем нынешнем прототипе она, несомненно, впечатляет, в чем Вы можете убедиться, посмотрев этот демонстрационный ролик на YouTube https://www.youtube.com/watch?v=hIIlJt8JERI.

Google также анонсировал Jules, кодового агента на основе ИИ, работающего на базе Gemini 2.0. Он интегрируется непосредственно в Ваш рабочий процесс на GitHub, и компания утверждает, что он может заниматься исправлением ошибок и выполнением повторяющихся трудоемких задач , "пока Вы сосредоточены на том, что Вы действительно хотите создать"

Многое из недавно анонсированного в настоящее время доступно только ранним тестерам и разработчикам приложений. Google говорит, что планирует интегрировать Gemini 2.0 во все свои продукты, включая Поиск, Рабочее пространство, Карты и другие, в начале следующего года. Именно тогда мы сможем лучше понять, как эти новые мультимодальные возможности и улучшения отразятся в реальных сценариях использования. О моделях Gemini 2.0 Ultra и Pro пока ничего не известно.