Исследователи утверждают, что инструмент Whisper от OpenAI выдумывает всякую ерунду

Согласно новому отчету https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 от ABC News (via Engadget), инструмент транскрипции аудио OpenAI, Whisper, склонен вызывать галлюцинации, которые не являются частью оригинальной записи.

Это вызывает беспокойство, поскольку Whisper уже используется в нескольких отраслях, включая медицинские центры, которые полагаются на этот инструмент для расшифровки консультаций. И это несмотря на строгое предупреждение OpenAI не использовать его в "областях с высоким риском".

Инженер машинного обучения обнаружил галлюцинации в половине из более чем 100 часов расшифровок, а другой разработчик сказал, что нашел их во всех 26 000 расшифровок, которые он проанализировал. По словам исследователей, это может привести к появлению ошибочных транскрипций в миллионах записей по всему миру. Представитель OpenAI сообщил ABC News, что компания изучила эти сообщения и учтет их в обновлениях модели. Инструмент включен в Oracle и Microsoft Cloud. У этих сервисов тысячи клиентов по всему миру, что увеличивает степень риска.

Профессора Элисон Кёнеке и Мона Слоан изучили тысячи коротких фрагментов из TalkBank. Они обнаружили, что 40% обнаруженных галлюцинаций были вредными. Например, в одной из записей говорящий сказал: "Он, мальчик, собирался, я точно не уверен, взять зонтик", но инструмент расшифровал это как "Он взял большой кусок креста, маленький, маленький кусочек... Я уверен, что у него не было ножа для террора, поэтому он убил несколько человек".