Anthropic продвигает ИИ с помощью Claude 3.5 Haiku, улучшенного Claude 3.5 Sonnet с компьютерным управлением, и партнерства с Palantir для правительственной разведки и оборонных операций США

Anthropic =====
Знакомство с использованием компьютера, новый сонет Клода 3.5 и хайку Клода 3.5
22 октября 2024 г

5 минут чтения

Иллюстрация, изображающая Клода, управляющего компьютерным курсором

Обновление (11/04/2024): Мы пересмотрели цены на Claude 3.5 Haiku. Теперь цена на эту модель составляет $1 MTok на вход / $5 MTok на выход.

Сегодня мы анонсируем обновленный Claude 3.5 Sonnet и новую модель Claude 3.5 Haiku. Модернизированный Claude 3.5 Sonnet обеспечивает всесторонние улучшения по сравнению с предшественником, особенно значительные улучшения в кодировании - в той области, где он уже лидировал. Claude 3.5 Haiku соответствует производительности Claude 3 Opus, нашей предыдущей самой крупной модели, по многим показателям при схожей скорости с предыдущим поколением Haiku.

Мы также представляем новую революционную возможность в публичной бета-версии: использование компьютера. Уже сегодня разработчики могут направить Claude на использование компьютеров так, как это делают люди - глядя на экран, перемещая курсор, нажимая кнопки и набирая текст. Claude 3.5 Sonnet - это первая модель ИИ переднего края, предлагающая использование компьютера в публичной бета-версии. На данном этапе она все еще является экспериментальной - порой громоздкой и подверженной ошибкам. Мы выпускаем возможность использования компьютера на ранней стадии, чтобы получить обратную связь от разработчиков, и ожидаем, что со временем эта возможность быстро улучшится.

Компании Asana, Canva, Cognition, DoorDash, Replit и The Browser Company уже начали исследовать эти возможности, выполняя задания, для завершения которых требуются десятки, а иногда и сотни шагов. Например, компания Replit использует возможности Claude 3.5 Sonnet в работе с компьютером и навигации по пользовательскому интерфейсу для разработки ключевой функции, которая оценивает приложения в процессе их создания для своего продукта Replit Agent.

Обновленный Claude 3.5 Sonnet теперь доступен для всех пользователей. Начиная с сегодняшнего дня, разработчики могут создавать приложения с бета-версией компьютерного использования на Anthropic API, Amazon Bedrock и Google Cloud's Vertex AI. Новый Claude 3.5 Haiku будет выпущен позже в этом месяце.

Claude 3.5 Sonnet: Лучшие в отрасли навыки разработки программного обеспечения

Обновленный Claude 3.5 Sonnet демонстрирует широкий спектр улучшений в отраслевых бенчмарках, причем особенно сильные улучшения наблюдаются в задачах агентского кодирования и использования инструментов. В задаче кодирования он улучшил производительность в SWE-bench Verified с 33,4% до 49,0%, набрав больше баллов, чем все публично доступные модели - включая модели рассуждений, такие как OpenAI o1-preview, и специализированные системы, разработанные для агентного кодирования. Он также улучшает производительность в TAU-bench, задаче использования агентских инструментов, с 62,6% до 69,2% в домене розничной торговли и с 36,0% до 46,0% в более сложном домене авиаперевозок. Новый Claude 3.5 Sonnet предлагает эти усовершенствования по той же цене и с той же скоростью, что и его предшественник.

Судя по первым отзывам покупателей, обновленный Claude 3.5 Sonnet представляет собой значительный скачок в области кодирования с помощью искусственного интеллекта. Компания GitLab, протестировавшая эту модель для задач DevSecOps, обнаружила, что она обеспечивает более сильные рассуждения (до 10% в разных случаях использования) без дополнительной задержки, что делает ее идеальным выбором для многоэтапных процессов разработки программного обеспечения. Компания Cognition использует новую версию Claude 3.5 Sonnet для оценки автономного ИИ и обнаружила значительные улучшения в кодировании, планировании и решении задач по сравнению с предыдущей версией. Компания Browser Company, используя модель для автоматизации рабочих процессов в Интернете, отметила, что Claude 3.5 Sonnet превзошла все модели, которые они тестировали ранее.

В рамках нашего постоянного сотрудничества с внешними экспертами совместное предварительное тестирование новой модели Claude 3.5 Sonnet проводили Институт безопасности искусственного интеллекта США (US AISI) и Институт безопасности Великобритании (UK AISI).

Мы также оценили обновленную модель Claude 3.5 Sonnet на предмет катастрофических рисков и пришли к выводу, что стандарт ASL-2, как указано в нашей политике ответственного масштабирования, по-прежнему подходит для этой модели.

Claude 3.5 Haiku: Современное состояние соответствует доступности и скорости

Claude 3.5 Haiku - это следующее поколение нашей самой быстрой модели. При схожей скорости с Claude 3 Haiku, Claude 3.5 Haiku улучшает все навыки и превосходит даже Claude 3 Opus, самую большую модель из нашего предыдущего поколения, во многих тестах на интеллект. Claude 3.5 Haiku особенно сильна в задачах по кодированию. Например, он набрал 40,6% в SWE-бенчмаркете Verified, опередив многих агентов, использующих общедоступные современные модели, включая оригинальный Claude 3.5 Sonnet и GPT-4o.

Благодаря низкой задержке, улучшенному выполнению инструкций и более точному использованию инструментов, Claude 3.5 Haiku хорошо подходит для работы с продуктами, обращенными к пользователю, специализированных задач субагентов и создания персонализированного опыта на основе огромных объемов данных, таких как история покупок, ценообразование или инвентарные записи.

Claude 3.5 Haiku будет доступен в конце этого месяца через наш API от первого лица, Amazon Bedrock и Google Cloud's Vertex AI - сначала в виде модели только для работы с текстом, а затем с изображениями.

Обучение Клода ответственному обращению с компьютером

В работе с компьютером мы пробуем нечто принципиально новое. Вместо того, чтобы создавать специальные инструменты, помогающие Клоду выполнять отдельные задачи, мы учим его общим компьютерным навыкам - позволяем ему использовать широкий спектр стандартных инструментов и программ, разработанных для людей. Разработчики могут использовать эту зарождающуюся способность для автоматизации повторяющихся процессов, создания и тестирования программного обеспечения, а также для выполнения открытых задач, таких как исследования.

Чтобы сделать возможными эти общие навыки, мы создали API, который позволяет Клоду воспринимать компьютерные интерфейсы и взаимодействовать с ними. Разработчики могут интегрировать этот API, чтобы позволить Клоду переводить инструкции (например, "использовать данные с моего компьютера и из Интернета, чтобы заполнить эту форму") в компьютерные команды (например, проверить электронную таблицу; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т.д.). На OSWorld, где оценивается способность моделей ИИ использовать компьютеры так же, как это делают люди, Claude 3.5 Sonnet набрал 14,9% в категории "только скриншоты" - что заметно лучше, чем результат следующей лучшей системы ИИ, составивший 7,8%. Когда Клоду было предоставлено больше шагов для выполнения задания, он набрал 22,0%.

Хотя мы ожидаем, что в ближайшие месяцы эта способность быстро улучшится, в настоящее время умение Клода пользоваться компьютером несовершенно. Некоторые действия, которые люди выполняют без особых усилий - прокрутка, перетаскивание, масштабирование - в настоящее время представляют для Клода трудности, и мы рекомендуем разработчикам начать изучение с задач с низким уровнем риска. Поскольку использование компьютера может стать новым вектором для более привычных угроз, таких как спам, дезинформация или мошенничество, мы используем проактивный подход, чтобы способствовать его безопасному использованию. Мы разработали новые классификаторы, которые могут определить, когда используется компьютер и причиняется ли при этом вред. Подробнее об исследовательском процессе, лежащем в основе этого нового навыка, а также о мерах безопасности Вы можете прочитать в нашем посте о развитии компьютерного использования.

Заглядывая в будущее

Изучение первых внедрений этой технологии, которая пока находится на самой ранней стадии, поможет нам лучше понять как потенциал, так и последствия появления все более способных систем ИИ.

Мы с нетерпением ждем, когда Вы изучите наши новые модели и публичную бета-версию использования компьютеров, и приглашаем Вас поделиться с нами своими отзывами. Мы верим, что эти разработки откроют новые возможности для Вашей работы с Клодом, и с нетерпением ждем, что Вы создадите.

Anthropic ====
Разработка модели использования компьютера
22 октября 2024 г

7 мин. чтения

Абстрактное представление использования компьютера ИИ, когда компьютерный курсор нажимает на стилизованное изображение нейронной сети

Claude теперь может использовать компьютеры. Последняя версия Claude 3.5 Sonnet может, при запуске через соответствующую программную установку, выполнять команды пользователя по перемещению курсора по экрану компьютера, кликать на соответствующие места и вводить информацию с помощью виртуальной клавиатуры, эмулируя взаимодействие человека с собственным компьютером.

Мы считаем, что этот навык - который в настоящее время находится в стадии публичного бета-тестирования - представляет собой значительный прорыв в развитии ИИ. Ниже мы поделимся некоторыми сведениями из исследований, которые были проведены для разработки моделей использования компьютера и для того, чтобы сделать их более безопасными.

Почему именно использование компьютера?

Почему эта новая возможность важна? Огромное количество современной работы происходит с помощью компьютеров. Предоставление ИИ возможности напрямую взаимодействовать с компьютерными программами так же, как это делают люди, откроет огромный спектр приложений, которые просто невозможны для нынешнего поколения ИИ-помощников.

За последние несколько лет было достигнуто много важных рубежей в развитии мощного ИИ - например, способность проводить сложные логические рассуждения и способность видеть и понимать изображения. Следующий рубеж - использование компьютера: Модели ИИ, которым не нужно взаимодействовать с помощью специально разработанных инструментов, а вместо этого они могут использовать практически любое программное обеспечение в соответствии с инструкциями.

Процесс исследования

Наша предыдущая работа по использованию инструментов и мультимодальности заложила основу для этих новых навыков работы с компьютером. Работа с компьютером предполагает способность видеть и интерпретировать изображения - в данном случае, изображения на экране компьютера. Это также требует рассуждений о том, как и когда выполнять определенные операции в ответ на то, что происходит на экране. Объединив эти способности, мы научили Клода интерпретировать происходящее на экране, а затем использовать имеющиеся программные инструменты для выполнения задач.

Когда разработчик поручает Клоду использовать компьютерную программу и предоставляет ему необходимый доступ, Клод смотрит на скриншоты того, что видно пользователю, а затем подсчитывает, на сколько пикселей по вертикали или горизонтали нужно переместить курсор, чтобы нажать в нужном месте. Обучение Клода точному подсчету пикселей было критически важным. Без этого навыка модели будет трудно отдавать команды мышкой - подобно тому, как модели часто испытывают трудности с простыми на первый взгляд вопросами вроде "сколько букв "А" в слове "банан"?".

Мы были удивлены тем, как быстро Клод освоил компьютер после того, как мы обучили его работе с несколькими простыми программами, такими как калькулятор и текстовый редактор (из соображений безопасности мы не разрешали модели выходить в Интернет во время обучения). В сочетании с другими навыками Клода, это обучение дало ему замечательную способность превращать письменную подсказку пользователя в последовательность логических шагов, а затем выполнять действия на компьютере. Мы заметили, что модель даже самостоятельно исправляла и повторяла задания, когда сталкивалась с препятствиями.

Хотя после того, как мы совершили первый прорыв, последующие успехи были достигнуты быстро, для этого потребовалось много проб и ошибок. Некоторые из наших исследователей отметили, что разработка использования компьютера была близка к "идеализированному" процессу исследования ИИ, который они представляли себе, когда только начинали работать в этой области: постоянные итерации и неоднократные возвращения к чертежной доске до тех пор, пока не будет достигнут прогресс.

Исследования окупились. В настоящее время Клод является современным разработчиком моделей, которые используют компьютеры так же, как это делает человек - то есть, глядя на экран и выполняя ответные действия. В одной из оценок, созданной для проверки попыток разработчиков заставить модели использовать компьютеры, OSWorld, Клод получил 14,9%. Это не приближает его к человеческому уровню мастерства (который обычно составляет 70-75%), но это намного выше, чем 7,7%, полученные следующей лучшей моделью ИИ в той же категории.

Обеспечение безопасности использования компьютера

Каждый прогресс в области ИИ влечет за собой новые проблемы безопасности. Использование компьютера - это, в основном, способ снизить барьер для систем ИИ, применяющих свои существующие когнитивные навыки, а не кардинально повысить эти навыки, поэтому наши главные опасения по поводу использования компьютера сосредоточены на сегодняшнем вреде, а не на будущем. Мы подтвердили это, оценив, повышает ли использование компьютеров риск возникновения пограничных угроз, как указано в нашей Политике ответственного масштабирования. Мы пришли к выводу, что обновленный Сонет Клода 3.5, включая новый навык использования компьютера, соответствует 2-му уровню безопасности ИИ, то есть не требует более высоких стандартов безопасности и мер защиты, чем те, которые мы применяем в настоящее время.

Когда будущим моделям потребуются меры безопасности ИИ уровня 3 или 4, поскольку они представляют собой катастрофические риски, использование компьютера может усугубить эти риски. Мы считаем, что, скорее всего, лучше внедрить использование компьютеров сейчас, пока модели еще нуждаются только в гарантиях безопасности ИИ 2-го уровня. Это означает, что мы можем начать решать любые проблемы безопасности до того, как ставки станут слишком высокими, а не добавлять возможности использования компьютера в первый раз в модель с гораздо более серьезными рисками.

Исходя из этого, наши команды Trust & Safety провели обширный анализ наших новых моделей использования компьютера, чтобы выявить потенциальные уязвимости. Одной из выявленных ими проблем является "внедрение подсказок" - тип кибератаки, при котором вредоносные инструкции подаются на модель ИИ, заставляя ее либо отменить свои предыдущие указания, либо выполнить непредусмотренные действия, отклоняющиеся от первоначальных намерений пользователя. Поскольку Claude может интерпретировать скриншоты с компьютеров, подключенных к Интернету, не исключено, что он может подвергнуться воздействию контента, содержащего атаки быстрого внедрения.

Тем, кто использует компьютерную версию Claude в нашей публичной бета-версии, следует принять соответствующие меры предосторожности, чтобы свести к минимуму подобные риски. В качестве ресурса для разработчиков мы предоставили дополнительные рекомендации в нашей эталонной реализации.

Как и в случае с любыми другими возможностями ИИ, пользователи также могут намеренно злоупотреблять компьютерными навыками Клода. Наши команды разработали классификаторы и другие методы, чтобы отмечать и смягчать подобные злоупотребления. Учитывая предстоящие выборы в США, мы находимся в состоянии повышенной готовности к попыткам злоупотреблений, которые могут быть восприняты как подрыв общественного доверия к избирательным процессам. Несмотря на то, что использование компьютера не является достаточно продвинутым или способным работать в таких масштабах, которые представляли бы повышенный риск по сравнению с существующими возможностями, мы ввели в действие меры по отслеживанию случаев, когда Клода просят принять участие в деятельности, связанной с выборами, а также системы, позволяющие отстранить Клода от таких действий, как создание и размещение контента в социальных сетях, регистрация веб-доменов или взаимодействие с правительственными сайтами. Мы будем постоянно оценивать и совершенствовать эти меры безопасности, чтобы сбалансировать возможности Claude и ответственное использование во время публичной бета-версии.

В соответствии с нашим стандартным подходом к конфиденциальности данных, по умолчанию мы не обучаем наши генеративные модели ИИ на данных, предоставленных пользователями, включая любые скриншоты, которые получает Клод.

Будущее использования компьютера

Использование компьютера - это совершенно иной подход к разработке ИИ. До сих пор разработчики LLM подгоняли инструменты под модель, создавая пользовательские среды, в которых ИИ использовал специально разработанные инструменты для выполнения различных задач. Теперь мы можем сделать так, чтобы модель соответствовала инструментам - Клод сможет вписаться в компьютерные среды, которыми мы пользуемся каждый день. Наша цель состоит в том, чтобы Клод мог брать уже существующие части компьютерного программного обеспечения и просто использовать их, как это делает человек.

Еще многое предстоит сделать. Несмотря на то, что это современный уровень развития техники, Клод использует компьютер медленно и часто допускает ошибки. Существует множество действий, которые люди регулярно выполняют на компьютере (перетаскивание, масштабирование и т.д.), но Клод пока не может их выполнить. "Книжный" характер просмотра экрана Клодом - он делает скриншоты и собирает их воедино, а не наблюдает за более детальным видеопотоком - означает, что он может пропустить кратковременные действия или уведомления.

Даже когда мы записывали демонстрацию использования компьютера для сегодняшнего запуска, мы столкнулись с некоторыми забавными ошибками. В одном случае Клод случайно нажал на кнопку, чтобы остановить длительную запись экрана, в результате чего весь отснятый материал был потерян. В другом случае Клод внезапно прервал нашу демонстрацию кодирования и начал просматривать фотографии Йеллоустонского национального парка.

Мы ожидаем, что использование компьютеров будет быстро улучшаться и станет более быстрым, надежным и полезным для выполнения задач, которые хотят решать наши пользователи. Кроме того, они станут намного проще для тех, у кого нет опыта разработки программного обеспечения. На каждом этапе наши исследователи будут тесно сотрудничать с нашими командами по безопасности, чтобы гарантировать, что новые возможности Клода будут сопровождаться соответствующими мерами безопасности.

Мы приглашаем разработчиков, которые попробуют использовать компьютер в нашей публичной бета-версии, связаться с нами и оставить свой отзыв, используя эту форму, чтобы наши исследователи могли продолжать улучшать полезность и безопасность этой новой возможности.

PALANTIR ====

11 / 07 / 2024

Anthropic и Palantir сотрудничают, чтобы предоставить модели ИИ Клода в AWS для правительственных разведывательных и оборонных операций США

ДЕНВЕР--(BUSINESS WIRE)-- Сегодня компании Anthropic и Palantir Technologies Inc. (NYSE: PLTR) объявили о партнерстве с Amazon Web Services (AWS), чтобы предоставить американским разведывательным и оборонным ведомствам доступ к семейству моделей Claude 3 и 3.5 на AWS. Это партнерство позволяет создать интегрированный набор технологий для оперативного использования Claude в рамках платформы искусственного интеллекта (AIP) компании Palantir, используя при этом преимущества безопасности, гибкости и устойчивости, предоставляемые AWS.

Партнерство способствует ответственному применению ИИ, позволяя использовать Claude в продуктах Palantir для поддержки правительственных операций, таких как быстрая обработка огромных объемов сложных данных, повышение интеллектуальности данных, более эффективное выявление закономерностей и тенденций, оптимизация проверки и подготовки документов, а также помощь американским чиновникам в принятии более обоснованных решений в ситуациях, требующих времени, при сохранении их полномочий по принятию решений. Claude стал доступен в рамках Palantir AIP on AWS в начале этого месяца.

С помощью AIP от Palantir клиенты теперь могут внедрить Claude, используя интегрированный набор технологий, при содействии Amazon SageMaker, аккредитованной полностью управляемой службы, и размещаясь в аккредитованной среде Palantir Impact Level 6 (IL6), поддерживаемой AWS. Palantir и AWS входят в ограниченное число компаний, получивших аккредитацию IL6 Агентства оборонных информационных систем (DISA), требующую соблюдения самых строгих протоколов безопасности.

"Наше партнерство с Anthropic и AWS предоставляет оборонному и разведывательному сообществам США цепочку инструментов, необходимых для безопасного использования и внедрения моделей ИИ, обеспечивая следующее поколение преимуществ принятия решений в самых важных миссиях", - сказал Шьям Санкар, директор по технологиям компании Palantir. "Компания Palantir гордится тем, что стала первым отраслевым партнером, внедрившим модели Клода в секретные среды. Мы уже воочию убедились в эффективности этих моделей с AIP в коммерческом секторе: например, один ведущий американский страховщик автоматизировал значительную часть процесса андеррайтинга с помощью 78 агентов искусственного интеллекта, работающих на базе AIP и Claude, превратив процесс, который раньше занимал две недели, в процесс, который можно было выполнить за три часа. Теперь мы предоставляем такое же асимметричное преимущество ИИ правительству США и его союзникам"

"Мы гордимся тем, что находимся на переднем крае внедрения ответственных решений в области ИИ в засекреченные среды США, повышая аналитические возможности и операционную эффективность жизненно важных государственных операций". Доступ к Claude 3 и Claude 3.5 в рамках Palantir AIP на AWS обеспечит американские оборонные и разведывательные организации мощными инструментами ИИ, способными быстро обрабатывать и анализировать огромные объемы сложных данных. Это значительно улучшит анализ разведывательных данных и позволит чиновникам принимать решения, упростит ресурсоемкие задачи и повысит операционную эффективность всех отделов", - говорит Кейт Эрл Дженсен, руководитель отдела продаж и партнерских отношений компании Anthropic.

"Мы рады сотрудничать с Anthropic и Palantir и предложить новые возможности генеративного ИИ, которые будут способствовать инновациям в государственном секторе. В AWS мы стремимся предоставить клиентам и партнерам из государственного сектора самый безопасный, инновационный и комплексный набор облачных услуг", - сказал Дэйв Леви, вице-президент AWS по государственному сектору в мире.

О компании Palantir Technologies Inc.

Фундаментальное программное обеспечение завтрашнего дня. Поставляется сегодня. Дополнительную информацию можно найти на сайте www.palantir.com.

Заявления, относящиеся к будущему

Данный пресс-релиз содержит заявления прогнозного характера в значении Раздела 27A Закона о ценных бумагах от 1933 года, с поправками, и Раздела 21E Закона о ценных бумагах и биржах от 1934 года, с поправками. Эти заявления могут относиться к ожиданиям Palantir относительно суммы и условий контракта, а также ожидаемых преимуществ наших программных платформ, но не ограничиваются ими. Заявления прогнозного характера по своей природе подвержены рискам и неопределенностям, некоторые из которых невозможно предсказать или оценить количественно. Прогнозные заявления основаны на информации, доступной на момент их составления, и базируются на текущих ожиданиях, а также на убеждениях и предположениях руководства на тот момент в отношении будущих событий. Эти заявления подвержены рискам и неопределенностям, многие из которых включают факторы или обстоятельства, находящиеся вне нашего контроля. К таким рискам и неопределенностям относятся: наша способность удовлетворять уникальные потребности клиента; неспособность наших платформ удовлетворить клиента или работать как нужно; частота или серьезность любых ошибок программного обеспечения и внедрения; надежность наших платформ; и способность клиента изменить или расторгнуть контракт. Дополнительная информация об этих и других рисках и неопределенностях содержится в документах, которые мы время от времени подаем в Комиссию по ценным бумагам и биржам. За исключением случаев, предусмотренных законом, мы не берем на себя обязательств публично обновлять или пересматривать какие-либо заявления прогнозного характера, будь то в результате появления новой информации, будущего развития событий или иным образом.

Контакт для СМИ

Морган Гресс

[email protected]

Источник: Palantir Technologies Inc.