用于同声机器翻译的高斯多头注意力
计算与语言
2022-03-18 v1 人工智能
摘要
同声机器翻译（SiMT）在接收流式源输入的同时输出译文，因此需要一种策略来决定从何处开始翻译。目标词与源词之间的对齐通常暗示每个目标词最具信息量的源词，从而提供对翻译质量与延迟的统一控制，但遗憾的是现有 SiMT 方法并未显式建模对齐来实现该控制。本文中，我们提出高斯多头注意力（GMA），通过以统一方式建模对齐与翻译来开发一种新的 SiMT 策略。对于 SiMT 策略，GMA 对每个目标词的对齐源位置进行建模，并相应地等待至其对齐位置再开始翻译。为将对齐的学习整合进翻译模型，引入了以预测对齐位置为中心的高斯分布作为与对齐相关的先验，其与翻译相关的软注意力协作以确定最终注意力。在 En-Vi 与 De-En 任务上的实验表明，我们的方法在翻译与延迟的权衡上优于强基线。
引用
@article{arxiv.2203.09072,
title = {Gaussian Multi-head Attention for Simultaneous Machine Translation},
author = {Shaolei Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2203.09072},
year = {2022}
}
备注
Accept to ACL 2022 findings. 12 pages, 8 figures