多语言端到端语音翻译
计算与语言
2019-11-01 v2 音频与语音处理
摘要
在本文中，我们提出了一种简单而有效的多语言端到端语音翻译（ST）框架，其中源语言的语音话语通过通用的序列到序列架构直接翻译为所需的目标语言。虽然多语言模型已被证明对自动语音识别（ASR）和机器翻译（MT）有用，但这是它们首次应用于端到端ST问题。我们在两种场景下展示了多语言端到端ST的有效性：使用公开数据的一对多和多多翻译。我们通过实验确认，在多语言端到端ST模型在两种场景下均显著优于双语模型。多语言训练的泛化能力也在向极低资源语言对的迁移学习场景中进行了评估。我们所有的代码和数据库均公开可用，以鼓励这一新兴多语言ST主题的进一步研究。
引用
@article{arxiv.1910.00254,
title = {Multilingual End-to-End Speech Translation},
author = {Hirofumi Inaguma and Kevin Duh and Tatsuya Kawahara and Shinji Watanabe},
journal= {arXiv preprint arXiv:1910.00254},
year = {2019}
}
备注
Accepted to ASRU 2019