Яндекс Браузер представил новую версию функции перевода видео, которая использует нейросети для передачи оригинальных голосов и интонаций участников роликов. Теперь при просмотре переведенных с английского видео создается ощущение, будто герои говорят на русском. Это улучшение позволяет сделать зрительский опыт более естественным и эмоциональным.
Браузер применяет новую нейросетевую модель, анализирующую оригинальную речь. Она выделяет тембр, ритм и интонацию, а затем воспроизводит их в переводе. Для обучения технологии использованы сотни тысяч аудиопримеров, что позволяет закадровой речи звучать более живо. Таким образом, перевод стал точнее передавать смысл и стилистику оригинала.
Особенно заметно это в видео с живыми выступлениями, сценками или речами известных людей, где важны эмоции и манера речи. Новая технология основана на модели YandexGPT, признанной одним из лучших решений в международном бенчмарке DiBiMT по качеству перевода с английского на русский язык.
Перевод нового поколения уже доступен для пользователей Яндекс Браузера при просмотре роликов на платформах, таких как YouTube, Яндекс Поиск, VK Видео, Дзен и Rutube. Для активации функции пользователям нужно авторизоваться через Яндекс ID и выбрать опцию перевода в панели просмотра видео. Пока такая фишка работает только с англоязычной речью, что может быть особенно актуально в авторских подкастах или записях выступлений.
Браузер также стал точнее передавать смысл сказанного в видео, что улучшает качество формулировок и делает их более естественными. Это нововведение открывает новые горизонты для китайской аудитории, желающей погрузиться в контент на иностранном языке, и подчеркивает стремление Яндекса оставаться на передовой технологических решений.