面向 IWSLT 2022 离线共享任务的 YiTrans 端到端语音翻译系统
计算与语言
2022-06-15 v2 音频与语音处理
摘要
本文描述了我们端到端 YiTrans 语音翻译系统参加 IWSLT 2022 离线任务的提交，该系统将英语音频翻译为德语、中文和日语。YiTrans 系统构建于大规模预训练编码器-解码器模型之上。更具体地，我们首先设计多阶段预训练策略，利用大量有标注与无标注数据构建多模态模型。随后，我们针对下游语音翻译任务微调模型的相应组件。此外，我们做出了诸多改进性能的努力，如数据过滤、数据增强、语音分割、模型集成等。实验结果表明，我们的 YiTrans 系统在三个翻译方向上均较强基线显著提升，并在 tst2021 英德翻译上比较去年最优端到端系统取得 +5.2 BLEU 的提升。我们的最终提交在自动评测指标上位列英德与英中端到端系统第一。我们公开了代码与模型。
引用
@article{arxiv.2206.05777,
title = {The YiTrans End-to-End Speech Translation System for IWSLT 2022 Offline Shared Task},
author = {Ziqiang Zhang and Junyi Ao and Long Zhou and Shujie Liu and Furu Wei and Jinyu Li},
journal= {arXiv preprint arXiv:2206.05777},
year = {2022}
}
备注
11 pages