Наушники-переводчики Timekettle W4 Pro с искусственным интеллектом: Трикодер из "Star Trek"?

Сразу же проясним один факт: W4 Pro не заменяет смартфон для устного перевода, приложение Timekettle является абсолютным условием для использования, именно здесь впервые становятся доступны функции искусственного интеллекта, и даже разговор 1 на 1 невозможен без подключения к приложению.

Переводить можно и в оффлайне, но тогда доступно "всего" 13 языков. Только в режиме онлайн раскрываются все возможности переводчиков. W4 Pro может переводить на 40 языков и, как утверждается, владеет 93 акцентами.

Производители обращают особое внимание на почти бесперебойную скорость перевода. Как утверждается, время отклика составляет всего 0,2 секунды.

Наушники очень важны для этого. В отличие от Timekettle X1, например, у которого были наушники-вкладыши, W4 Pro имеет открытый дизайн, что совершенно логично. В конце концов, наушники-вкладыши могут показаться негигиеничными, особенно при разговоре 1 на 1, когда Вы передаете один из двух наушников собеседнику. В отличие от W4 Pro, открытая конструкция означает, что Вам не придется беспокоиться о том, что к ним прилипнет ушная сера предыдущего пользователя. Это также облегчает восприятие собственного голоса, что также имеет свои преимущества. В каждый из двух наушников встроено по три микрофона, которые призваны обеспечить точную запись сказанного и отфильтровать несущественные звуки.

Сами наушники сделаны в основном из пластика. Они надежно держатся на ухе, но немного покачиваются, если человек, носящий их, быстро двигает головой. Маленький цветной светодиод показывает, когда наушники заряжаются или помещены в зарядный футляр. Защита от брызг или другие функции отсутствуют. W4 Pro также довольно большие, даже для накладных наушников. Для сравнения Marshall Motif II A.N.C. вставные наушники.

Зарядный футляр еще больше и несколько необычен. Внешняя рамка сделана из алюминия, остальное - пластик. Его можно разделить на две половины, чтобы не протягивать собеседнику голые наушники, а передать телефон в зарядном футляре. Однако размер коробки также может привести к мнению, что W4 Pro неуклюжи и значительно менее мобильны, чем другие наушники. На задней стороне футляра находится порт для зарядки USB-C. Светодиодный индикатор показывает состояние зарядки. Футляр вместе с наушниками весит 187 грамм (~6,6 унции).

Экологичность не играет никакой роли в маркетинге дорогих наушников-переводчиков; производитель не предоставляет никакой информации об используемых материалах.

Наушники упакованы в стильную черную картонную коробку, а внутри в качестве изоляции используется жесткая пена.

Как уже говорилось, приложение Timekettle обязательно к использованию, и при первом запуске Вам необходимо создать учетную запись. К сожалению, Вы не найдете приложение в магазинах, QR-код ведет на страницу загрузки, которой Вы должны доверять. Для сопряжения телефонов необходимо также активировать определение местоположения при каждом перезапуске приложения.

Сами трубки имеют только одну функцию: нажав на них, Вы можете переключаться между прослушиванием и разговором в режиме "Listen and Play", что очень удобно, поскольку Вам не нужно тянуться к смартфону, который может лежать на столе для конференций, чтобы перевести свой голос всем участникам.

Помимо трех режимов перевода "Один на один", "Слушай и играй" и "Медиа-перевод", на главном экране приложения также можно активировать автономный режим, но при этом медиа-перевод будет выделен серым цветом. Статус наушников также отображается вверху. Отзывы можно оставить прямо на главном экране или обратиться в службу поддержки.

Внизу также есть вкладки, в разделе "Узнайте" есть несколько инструкций по продуктам Timekettle, в случае с W4 Pro только одна, а именно, как сопрягать их со смартфоном. Вкладка "ИИ", безусловно, интересна. Здесь Вы можете вводить термины и получать их перевод и даже произнесение вслух. Здесь также находятся записи прошлых разговоров, которые можно обобщить. Вы также можете тренировать свои языковые навыки, поскольку здесь есть модель ИИ, с которой Вы можете говорить на тренировочном языке, после чего модель делает предложения по улучшению и задает вопросы, имитируя разговор. В отличие от 40 языков в переводах, ИИ-бот, похоже, доступен только на английском, испанском и китайском.

Основная задача W4 Pro. Если Вы хотите поговорить с собеседником на двух языках, просто передайте ему один из двух наушников в зарядной подставке, установите два языка в приложении, и Вы готовы к работе. Конечно, мы не можем утверждать о множестве языков, в нашем тесте мы остановились на английском и немецком.

Однако даже здесь качество не сравнится с человеческим переводчиком. Паузы в речи говорящего в середине предложения - особая проблема для системы Timekettle. Тогда переводчик ИИ просто вставляет в середину предложения неподходящее окончание. Если оратор начинает снова и заканчивает предложение, переводчик ИИ начинает новое предложение. Легко представить, что иногда это может значительно запутать смысл сказанного.

Также заметно, что система не улавливает более широкий контекст разговора. Хотя я тестирую своего сына (он немец, я англичанин), и он обращается ко мне "Papa", ИИ также интерпретирует мое обращение к нему как "Du", а затем снова как "Sie" в ходе разговора. Учитывая деловой контекст, по крайней мере, постоянно используйте "Sie".

Качество других переводов также довольно посредственное, что в большинстве случаев связано с нераспознаванием контекста. Схожие по звучанию слова, такие как "Meine" и "Deine", часто путают, что означает, что сказанное больше не имеет смысла; распознавание контекста могло бы исправить это. Другой пример - малоизвестные слова, которые затем просто переводятся неправильно и случайным образом. ИИ, по-видимому, также не смог определить из контекста, что речь идет о модном виде спорта - слэклайне. "Flecklein" - такой же малоизвестный вид спорта, как и "Select Lining", хотя ИИ правильно распознал "Slackline" минутой ранее, но это не закрепилось, так что, к сожалению, ИИ не учится в ходе разговора. Распознавание контекста, по крайней мере, не всегда приводит к созданию новых слов.

Поскольку голос переводчика в ухе собеседника всегда звучит с большой задержкой, а Вы не хотите говорить поверх перевода, Вам следует придерживаться определенных правил разговора, чтобы обеспечить наилучший перевод. К ним относятся беглая, но не слишком быстрая и четкая речь, без пауз для размышлений, но с паузами примерно через 2 предложения, четкие структуры предложений и как можно меньше разговорной лексики. Некоторых правил поведения сложнее придерживаться, чем других, даже в деловой среде.

Вероятно, это самый универсальный режим. Здесь Вы слушаете различные источники и получаете перевод на ухо, а расшифровку - на мобильный телефон. Этот режим рекламируется для использования на собраниях, но радио- или телепередачи тоже можно переводить таким образом, да и другие ситуации тоже возможны. Если Вы хотите поменять роли местами и говорить самому, Вам достаточно нажать на правый наушник или в приложении, и Ваш мобильный телефон сам переведет то, что говорят другие участники встречи.

С другой стороны, это, возможно, и самый склонный к ошибкам режим, поскольку здесь системе часто приходится работать в более широком контексте, поэтому ей приходится справляться с несколькими, чередующимися голосами, большим количеством фонового шума и говорящими, находящимися на большом расстоянии. От Timekettle мы также узнали, что часть Listen в Listen & Play - это единственный режим, в котором за запись звука отвечает смартфон, а не наушники. Таким образом, распознавание сильно зависит от модели.

Например, мы проигрывали видео с YouTube через динамики нашего ноутбука. В то время как для нас громкость была нормальной или высокой, W4 Pro, очевидно, не смог принять сигнал достаточно хорошо. Только когда мы значительно увеличили громкость, наушники смогли побудить его к переводу. Кроме того, постоянно случается так, что перевод начинается, а затем останавливается на середине предложения, потому что распознавание, очевидно, страдает при записи со смартфона (Pixel 7 Pro). Разумеется, на моем столе с довольно громким видео на YouTube (70% громкости ноутбука через внутренние динамики) без фонового шума. Даже при 100% перевод часто просто не продолжается, что не может быть связано с громкостью. В целом, режим довольно ненадежен, по крайней мере, при захвате воспроизводимого медиа.

Захват естественных голосов здесь работает лучше, по крайней мере, без фонового шума. Однако качество перевода иногда оставляет желать лучшего. В частности, если говорящий делает небольшую паузу во время предложения, это быстро интерпретируется как конец предложения, и говорящий начинает снова, что иногда искажает смысл первоначально сказанного. Похоже, что "Говорите за себя" работает очень хорошо: то, что мы говорили сами, переводилось без проблем, а если Вы делаете перерывы, участники встречи могут слушать перевод через динамик смартфона.

Media Translation - это перевод с приложений, которые работают на том же смартфоне, что и приложение Timekettle.

Так что если мы активируем этот режим в приложении Timekettle и одновременно откроем, например, YouTube (или Zoom и т.д.), мы сможем перевести голоса в видео, а также транскрибировать сказанное и, при желании, отобразить его на языке оригинала и перевода, или только в виде перевода, или вообще без перевода. Пока все хорошо. Переводы также работают довольно хорошо и быстро, поскольку приложение способно захватывать аудиодорожку непосредственно со смартфона. Накладное окно с транскрипцией можно уменьшать или увеличивать, а также свободно перемещать или закрывать - очень хорошо.

Однако здесь также есть одна или несколько небольших проблем.

1. Поскольку на смартфоне имеется только один регулятор громкости для всех приложений, громкость оригинала, который, к сожалению, не становится тише, и громкость перевода перекрываются, что очень мешает сосредоточиться и слушать, в частности, канал перевода. В этом случае оригинальное видео на YouTube должно автоматически становиться тише.
2. Timekettle утверждает, что перевод практически не имеет задержек. Однако это справедливо в лучшем случае для транскрипции, но не для аудио. Аудиозапись перевода начинается лишь на несколько строк позже транскрипции. Это означает, что звук не совпадает с транскрипцией, что затрудняет чтение. Но еще хуже то, что переводное аудио не совпадает с оригинальным видео. Например, в то время как наш добрый Алекс рассказывает о конкретной модели ноутбука в видео (на английском языке), голос немецкого переводчика только начинает переводить его вступление. Это значительно усложняет просмотр видео. Мы слышим гол в сводке спортивного матча в аудиопереводе только через 7-10 секунд.
3. Если мы останавливаем видео, перевод (аудио) также останавливается примерно через 2 секунды. Это, конечно, логично, но в сочетании с большой задержкой между оригиналом и аудиопереводом это может означать, что после окончания видео (т.е. автоматической остановки видео) мы больше не получим аудиоперевод определенных фрагментов. Если мы останавливаем видео/аудио, а затем возобновляем его, то после обычной задержки аудиозапись начинается снова, но только с нового начала; то, что не было переведено до конца из-за задержки и паузы, больше не переводится аудиально, а может быть прочитано только в транскрипции.

В целом, однако, перевод работает довольно хорошо, все протестированные приложения были распознаны, включая радиопостановки с помощью плеера VLC или медиатеки ARD. Это очень практично, а качество перевода впечатляет. Однако Timekettle еще предстоит поработать над большой задержкой при озвучивании перевода.

В конце концов, срок действия виртуальных монет не должен истекать, но и вывести их потом тоже нельзя.