基于多头注意力的神经机器翻译中的对齐问题
计算与语言
2018-09-12 v1
摘要
本工作研究了基于 transformer 架构的最先进多头注意力模型中的对齐问题。我们证明，通过在多头源到目标注意力组件中增加一个额外的对齐头，可改进 transformer 模型中的对齐提取。这用于计算更尖锐的注意力权重。我们描述了如何使用对齐头以达到有竞争力的性能。为研究添加对齐头的效果，我们模拟了一个词典引导的翻译任务，其中用户希望使用预定义词典条目引导翻译。使用所提方法，在使用词典时我们实现了最高 % 的 BLEU 提升，而基线情形为 % BLEU。我们还提出对齐剪枝以加速基于对齐的神经机器翻译（ANMT）中的解码，其在不损失翻译性能的情况下将翻译速度提升 倍。我们在共享的 WMT 2016 英罗新闻任务和 BOLT 中英讨论论坛任务上进行了实验。
引用
@article{arxiv.1809.03985,
title = {On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation},
author = {Tamer Alkhouli and Gabriel Bretschner and Hermann Ney},
journal= {arXiv preprint arXiv:1809.03985},
year = {2018}
}