Ученые из ИТМО и компании MWS AI создали новый метод под названием SEAM, который позволяет адаптировать модели синтеза речи к новым языкам, используя значительно меньше обучающих данных. Эксперименты показали, что для достижения качества, сопоставимого со стандартными подходами, теперь достаточно 25 часов аудиозаписей вместо традиционных 100 часов. Обычно голосовые нейросети обучают на парах «текст — аудио», однако при недостатке таких примеров модели сложно осваивают произношение и сочетание звуков, что особенно критично для языков без больших размеченных наборов речи.
Метод SEAM решает эту проблему за счет использования уже накопленных нейросетью знаний о звуках и произношении. Новые языковые элементы формируются из знакомых компонентов с учетом фонетического порядка, что позволяет модели переносить ранее полученные навыки на новые задачи. Подход был проверен на русском, казахском и французском языках с использованием двух различных архитектур синтеза речи. Разработчики отмечают, что данная технология может быть применена при создании голосовых помощников, сервисов озвучки и систем автоматизации клиентской поддержки, которым требуется поддержка новых языков.
Работа исследователей была принята к публикации на конференции EMNLP 2026, посвященной обработке естественного языка. По словам Александра Бухановского, руководителя Института ИИ ИТМО, перенос накопленных знаний действительно помогает сократить потребность в данных, однако метод может приводить к искажению произношения и появлению нестандартных языковых форм.
