OpenAI представляет GPT-4o mini по цене в 25 раз ниже, чем GPT-4o, позволяя большему количеству предприятий и пользователей получить доступ к качественному ИИ

18 июля 2024 г

GPT-4o mini: продвижение экономичного интеллекта

Представляем нашу самую экономичную маленькую модель

OpenAI стремится сделать интеллект как можно более доступным. Сегодня мы представляем GPT-4o mini, нашу самую экономичную маленькую модель. Мы ожидаем, что GPT-4o mini значительно расширит спектр приложений, созданных на основе ИИ, сделав интеллект гораздо более доступным. GPT-4o mini набирает 82% по MMLU и в настоящее время опережает GPT-41 по предпочтениям в чате в таблице лидеров LMSYS (открывается в новом окне). Его цена составляет 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов, что на порядок доступнее предыдущих пограничных моделей и более чем на 60% дешевле GPT-3.5 Turbo.

GPT-4o mini позволяет решать широкий спектр задач благодаря своей низкой стоимости и задержке, например, приложения, которые выполняют цепочку или распараллеливают несколько вызовов модели (например, вызов нескольких API), передают модели большой объем контекста (например, полную кодовую базу или историю разговоров) или взаимодействуют с клиентами посредством быстрых текстовых ответов в реальном времени (например, чат-боты для поддержки клиентов).

Сегодня GPT-4o mini поддерживает текст и зрение в API, а в будущем появится поддержка ввода и вывода текста, изображений, видео и аудио. Модель имеет контекстное окно на 128K токенов, поддерживает до 16K выходных токенов на запрос и имеет знания до октября 2023 года. Благодаря улучшенному токенизатору, который используется в GPT-4o, работа с неанглийскими текстами стала еще более экономичной.

Маленькая модель с превосходным текстовым интеллектом и мультимодальным мышлением

GPT-4o mini превосходит GPT-3.5 Turbo и другие малые модели в академических бенчмарках как по текстовому интеллекту, так и по мультимодальному мышлению, и поддерживает тот же набор языков, что и GPT-4o. Он также демонстрирует высокую производительность в вызове функций, что позволяет разработчикам создавать приложения, получающие данные или выполняющие действия с внешними системами, и улучшенную производительность в длинном контексте по сравнению с GPT-3.5 Turbo.

GPT-4o mini был оценен в нескольких ключевых бенчмарках2.

Рассудочные задачи: GPT-4o mini лучше других маленьких моделей справляется с задачами на рассуждение, включающими как текст, так и зрение, набрав 82,0% баллов в MMLU, эталоне текстового интеллекта и рассуждения, по сравнению с 77,9% у Gemini Flash и 73,8% у Claude Haiku.

Математика и умение кодировать: GPT-4o mini отлично справляется с заданиями на математическое мышление и кодирование, превосходя предыдущие маленькие модели на рынке. В задании MGSM, измеряющем математические способности, GPT-4o mini набрал 87,0%, по сравнению с 75,5% у Gemini Flash и 71,7% у Claude Haiku. GPT-4o mini набрал 87,2% по результатам HumanEval, измеряющим производительность кодирования, по сравнению с 71,5% у Gemini Flash и 75,9% у Claude Haiku.

Мультимодальное мышление: GPT-4o mini также показал высокие результаты в MMMU, оценке мультимодальных рассуждений, набрав 59,4% по сравнению с 56,1% для Gemini Flash и 50,2% для Claude Haiku.

В процессе разработки нашей модели мы сотрудничали с несколькими надежными партнерами, чтобы лучше понять примеры использования и ограничения GPT-4o mini. Мы сотрудничали с такими компаниями, как Ramp (открывается в новом окне) и Superhuman (открывается в новом окне), которые обнаружили, что GPT-4o mini работает значительно лучше, чем GPT-3.5 Turbo, в таких задачах, как извлечение структурированных данных из файлов квитанций или генерация высококачественных ответов на электронные письма при наличии истории потоков.

Встроенные меры безопасности

Безопасность заложена в наши модели с самого начала и усиливается на каждом этапе процесса разработки. В процессе предварительного обучения мы отфильтровываем (открывается в новом окне) информацию, которую мы не хотим, чтобы наши модели изучали или выдавали, например, разжигание ненависти, контент для взрослых, сайты, которые в основном собирают личную информацию, и спам. В процессе пост-обучения мы приводим поведение модели в соответствие с нашими правилами, используя такие методы, как обучение с подкреплением и обратной связью (RLHF), чтобы повысить точность и надежность ответов модели.

В GPT-4o mini встроены те же меры безопасности, что и в GPT-4o, которые мы тщательно проанализировали с помощью автоматических и человеческих оценок в соответствии с нашей концепцией готовности и в соответствии с нашими добровольными обязательствами. Более 70 внешних экспертов в таких областях, как социальная психология и дезинформация, протестировали GPT-4o, чтобы выявить потенциальные риски, которые мы устранили и планируем подробно описать в готовящейся к выпуску системной карте GPT-4o и оценочном листе готовности. Результаты этих экспертных оценок помогли повысить безопасность как GPT-4o, так и GPT-4o mini.

Основываясь на этих знаниях, наши команды также работали над повышением безопасности GPT-4o mini, используя новые методы, основанные на результатах наших исследований. GPT-4o mini в API - это первая модель, в которой применен наш метод иерархии инструкций (открывается в новом окне), который помогает улучшить способность модели противостоять джейлбрейку, инъекциям подсказок и извлечению системных подсказок. Это делает ответы модели более надежными и помогает сделать ее более безопасной для использования в масштабных приложениях.

Мы будем продолжать следить за тем, как используется GPT-4o mini, и улучшать безопасность модели по мере выявления новых рисков.

Доступность и цены

GPT-4o mini теперь доступна в качестве модели текста и зрения в API помощников, API завершения чата и API пакетной обработки. Разработчики платят 15 центов за 1 млн. входных токенов и 60 центов за 1 млн. выходных токенов (примерно эквивалент 2500 страниц в стандартной книге). В ближайшие дни мы планируем провести тонкую настройку GPT-4o mini.

В ChatGPT пользователи Free, Plus и Team смогут получить доступ к GPT-4o mini начиная с сегодняшнего дня, вместо GPT-3.5. Корпоративные пользователи также получат доступ со следующей недели, что соответствует нашей миссии - сделать преимущества ИИ доступными для всех.

Что дальше

За последние несколько лет мы стали свидетелями поразительного прогресса в области искусственного интеллекта в сочетании с существенным снижением стоимости. Например, стоимость одного токена GPT-4o mini снизилась на 99% по сравнению с text-davinci-003, менее способной моделью, представленной в 2022 году. Мы намерены продолжать эту траекторию снижения стоимости, одновременно расширяя возможности моделей.

Мы представляем себе будущее, в котором модели будут органично интегрированы в каждое приложение и на каждый сайт. GPT-4o mini прокладывает разработчикам путь к созданию и масштабированию мощных приложений ИИ более эффективно и доступно. Будущее ИИ становится все более доступным, надежным и внедряется в нашу повседневную цифровую жизнь, и мы рады, что продолжаем идти в этом направлении.

Автор

OpenAI

Благодарности

Руководители: Джейкоб Меник, Кевин Лу, Шенджия Чжао, Эрик Уоллес, Хонгю Рен, Хайтанг Ху, Ник Статас, Фелипе Петроски Такие

Руководитель программы: Мианна Чен

Вклад отмечен на сайте openai.com/gpt-4o-contributions/

Сноски

1

По состоянию на 18 июля 2024 года, более ранняя версия GPT-4o mini превосходит GPT-4T 01-25.

2

Числа оценок для GPT-4o mini вычислены с помощью нашего репозитория simple-evals(открывается в новом окне) с подсказкой системного сообщения API assistant. Для моделей-конкурентов мы взяли максимальное число, превышающее их заявленное число (если оно доступно), таблицу лидеров HELM(открывается в новом окне) и наше собственное воспроизведение с помощью simple-evals.