通过语言模型将未来信息注入单调注意力
计算与语言
2021-09-08 v1
摘要
同步神经机器翻译（SNMT）模型在处理完源序列之前就开始输出目标序列。近期用于 SNMT 的自适应策略利用单调注意力，基于部分源序列与目标序列执行读/写决策。信息不足可能导致单调注意力做出糟糕的读/写决策，进而对 SNMT 模型的性能产生负面影响。另一方面，人类译员能做出更好的读/写决策，因为他们可利用语言信息与领域知识预判即刻的后续词。受人类译员启发，本文提出一种框架，借助外部语言模型辅助单调注意力以改进其决策。我们在 MuST-C 英德与英法语音到文本翻译任务上开展实验，以证明所提框架的有效性。该 SNMT 方法在质量-延迟权衡上优于最先进的单调多头注意力。
引用
@article{arxiv.2109.03121,
title = {Infusing Future Information into Monotonic Attention Through Language Models},
author = {Mohd Abbas Zaidi and Sathish Indurthi and Beomseok Lee and Nikhil Kumar Lakumarapu and Sangha Kim},
journal= {arXiv preprint arXiv:2109.03121},
year = {2021}
}