OpenAI с трудом собирает обучающие данные для новых моделей

Похоже, что компания OpenAI столкнулась с узким местом в производительности своих моделей ИИ нового поколения. Сообщается, что следующая большая модель компании - "Орион" - не справляется с определенными задачами по сравнению со старыми моделями.

Похоже, что она имеет преимущество в задачах, основанных на языке, таких как перевод, создание текстов и т.д., но в таких заданиях, как кодирование, она оказалась не на высоте.

Согласно отчету, опубликованному на сайте https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows от The Information (через Gadgets360), похоже, что существует проблема со сбором обучающих данных для новых моделей. Кроме того, эта модель дороже в дата-центрах по сравнению с GPT-4 и GPT-4o.

Скачок в качестве также слабее по сравнению с успехами GPT-4 по сравнению с GPT-3. По сообщениям, OpenAI создал команду основателей, чтобы решить проблему с обучающими данными, но пока неясно, смогут ли они получить достаточно данных для модели ИИ к моменту выпуска.

Не только у OpenAI наблюдается незначительный прирост производительности. Другие конкуренты, такие как Anthropic и Mistral, также демонстрируют лишь итеративный прирост с каждым новым выпуском. Один из предлагаемых методов повышения производительности - это дальнейшее обучение модели после выпуска путем точной настройки выходных данных, но это лишь обходной путь, а не постоянное решение.