面向同声机器翻译的单调无限回溯注意力机制
计算与语言
2019-06-13 v1
摘要
同声机器翻译在源语言说话者结束发言之前便开始翻译每个源语句，适用于直播和流媒体场景。同声系统必须谨慎调度其对源语句的读取，以在翻译质量与延迟之间取得平衡。我们提出了首个能够与神经机器翻译（NMT）模型联合学习自适应调度策略的同声翻译系统，该模型关注迄今为止已读取的所有源语言词符。为此，我们引入了单调无限回溯（Monotonic Infinite Lookback, MILk）注意力机制，该机制同时维持一个硬性、单调的注意力头来调度源语句的读取，以及一个从单调头回溯至源语句开端的软性注意力头。我们证明，MILk 的自适应调度策略使其能够在多种延迟值下，达成优于近期提出的 wait-k 策略的延迟-质量权衡。
引用
@article{arxiv.1906.05218,
title = {Monotonic Infinite Lookback Attention for Simultaneous Machine Translation},
author = {Naveen Arivazhagan and Colin Cherry and Wolfgang Macherey and Chung-Cheng Chiu and Semih Yavuz and Ruoming Pang and Wei Li and Colin Raffel},
journal= {arXiv preprint arXiv:1906.05218},
year = {2019}
}
备注
Accepted for publication at ACL 2019