Встроенный переводчик видео в Яндекс Браузере научился передавать тембр, интонации и ритм
Сегодня, 28 апреля, компания Яндекс в своём официальном блоге рассказала о крупном апгрейде встроенного закадрового переводчика видео в Яндекс Браузере. Данную технологию российские разработчики представили четыре года назад, и теперь пришло время её существенно улучшить за счёт новой нейросетевой модели, обученной на сотнях тысяч примеров устной речи человека, способной в режиме реального времени анализировать особенности речи человека. В результате переводчик будет учитывать тембр спикера, его ритм повествования, громкость голоса, логические паузы и прочие важные параметры, принимая их во внимание во время воспроизведения перевода.
«Интонация играет важную роль в передаче эмоций и смысла высказывания. Она помогает лучше уловить иронию, отношение к предмету разговора и собеседнику. Шутки и остроумные диалоги оставляют куда более сильное впечатление, когда в переводе сохраняются мельчайшие оттенки интонаций», — сообщили в Яндексе.
Также представители компании рассказали о том, что теперь пользователи Яндекс Браузера смогут слышать голоса авторов контента такими, какие они есть на самом деле, получая от просмотра видео с переводом больше ярких эмоций. Кроме того, сам перевод нового поколения теперь будет точнее в плане формулировок. Суть в том, что Браузер научили учитывать при формировании перевода голоса стилистические особенности речи спикера, так что финальный результат, теоретически, будет звучать гораздо более естественно.
«Для перевода видео мы используем модель на основе генеративной нейросети YandexGPT. По данным международного независимого бенчмарка DiBiMT, модель лидирует по качеству перевода с английского языка на русский», — заявили в блоге компании.
В Яндексе рассказали, что функция обновлённого перевода доступна в процессе просмотра видеороликов на английском языке на видеохостингах YouTube, Rutube, «Дзен» и «VK Видео», а также в поисковой выдаче Яндекса. В случае, если ролик поддерживает новую фишку, в панели управления видеоплеера появится опция «Живые голоса». Правда, представители компании отмечают, что возможность смотреть видео с обновлённым переводом доступна только в том случае, если пользователь вошёл в Яндекс Браузер со своим Яндекс ID. И, судя по комментариям под записью в блоге компании, это стоит того — пользователи отмечают, что озвучка действительно очень реалистичная.