多语言端到端同声语音翻译的联合训练与解码
计算与语言
2025-03-17 v1 声音
音频与语音处理
摘要
近期关于端到端语音翻译（ST）的研究促进了多语言端到端ST和端到端同声ST的探索。在本文中，我们研究了一对多多语言设定下的端到端同声语音翻译，该设定更贴近真实场景中的应用。我们在此场景下探索了分离解码器架构和用于联合同步训练的统一架构。为了进一步探索跨语言的知识迁移，我们在所提出的统一解码器架构上提出了一种异步训练策略。我们构建了一个多路对齐的多语言端到端ST数据集，作为评估我们方法的基准测试平台。实验结果证明了我们的模型在所收集数据集上的有效性。我们的代码和数据可在以下地址获取：https://github.com/XiaoMi/TED-MMST。
引用
@article{arxiv.2503.11080,
title = {Joint Training And Decoding for Multilingual End-to-End Simultaneous Speech Translation},
author = {Wuwei Huang and Renren Jin and Wen Zhang and Jian Luan and Bin Wang and Deyi Xiong},
journal= {arXiv preprint arXiv:2503.11080},
year = {2025}
}
备注
ICASSP 2023