Разработка GPT-5 столкнулась с серьезными проблемами, так как у OpenAI закончились тренировочные данные

Работа OpenAI над проектом GPT-5прозванная "Проект Орион", столкнулась с довольно серьезной проблемой. Проект сильно отстает от графика, да еще и обходится в копеечку. Проработав над ним более 18 месяцев, компания Microsoft первоначально предполагала, что он будет готов к середине 2024 года, но этого не произошло.

Они вложили в это много денег - каждый тренировочный прогон стоит около 500 миллионов долларов только на вычислительные мощности - но они не увидели того скачка в производительности, на который надеялись, по сравнению с GPT-4. Хотя и есть заметные улучшения, их недостаточно, чтобы оправдать такие расходы.

Одна из самых больших проблем - нехватка качественных данных для обучения модели. В открытом доступе в Интернете просто нет достаточного количества разнообразных высококачественных данных, которые необходимы для того, чтобы что-то изменить. Чтобы решить эту проблему, OpenAI привлек экспертов для создания новых учебных материалов, таких как программный код и математические задачи. Но это медленный процесс. Для сравнения, GPT-4 потребовалось 13 триллионов жетонов для обучения. Если говорить об этом в контексте, то даже если 1000 человек будут писать по 5000 слов в день, им потребуются месяцы, чтобы набрать один миллиард - а увеличивать количество до триллионов все равно что пытаться наполнить океан из садового шланга.

Вдобавок ко всему, компанию постигли внутренние проблемы. В 2024 году ее покинули более двух десятков ключевых руководителей, включая главного научного сотрудника Илью Суцкевера и технического директора Миру Мурати. OpenAI также жонглирует другими проектами, такими как "o1" и "Sora", и все еще пытается понять, как двигаться дальше с GPT-5.

Генеральный директор компании, Сэм Альтман, уже подтвердил, что GPT-5 не будет выпущен в 2024 году, что станет значительной неудачей для их амбициозных планов в области ИИ.