Orthros：基于双解码器的非自回归端到端语音翻译
计算与语言
2021-02-19 v3 声音
音频与语音处理
摘要
快速推理速度是语音翻译（ST）系统走向实际部署的重要目标。基于编码器-解码器架构的端到端（E2E）模型比传统级联系统更适合这一目标，但其解码速度方面的有效性迄今尚未被探索。受近期基于文本的翻译中非自回归（NAR）方法（通过消除条件依赖并行生成目标词符）进展的启发，我们研究了E2E-ST的NAR解码问题。我们提出了一种新颖的NAR E2E-ST框架Orthros，其中NAR与自回归（AR）解码器在共享语音编码器上联合训练。后者用于从前者生成的各种长度候选中选择更优翻译，以可忽略的开销大幅提升了大长度束搜索的有效性。我们进一步研究了基于语音输入的有效长度预测方法以及词表大小的影响。在四个基准上的实验表明了所提方法在提升推理速度同时保持与最先进AR E2E-ST系统相当翻译质量方面的有效性。
引用
@article{arxiv.2010.13047,
title = {Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder},
author = {Hirofumi Inaguma and Yosuke Higuchi and Kevin Duh and Tatsuya Kawahara and Shinji Watanabe},
journal= {arXiv preprint arXiv:2010.13047},
year = {2021}
}
备注
Accepted at IEEE ICASSP 2021