从神经机器翻译中精确诱导词对齐
计算与语言
2020-12-04 v2 机器学习
摘要
尽管 Transformer 的初始目标是联合学习对齐与翻译，先前研究表明其通过注意力机制捕捉的词对齐质量较差。本文中，我们展示注意力权重确实捕捉了准确的词对齐，并提出了两种新颖的词对齐诱导方法 Shift-Att 与 Shift-AET。主要思想是在待对齐目标词作为解码器输入而非如先前工作那样作为解码器输出的步骤诱导对齐。Shift-Att 是一种解释方法，从 Transformer 的注意力权重中诱导对齐，无需参数更新或架构改动。Shift-AET 从一个额外对齐模块中提取对齐，该模块与 Transformer 紧密集成，并利用来自对称化 Shift-Att 对齐的监督单独训练。在三个公开数据集上的实验表明，两种方法均优于其对应的神经基线，且 Shift-AET 以 1.4-4.8 个 AER 点显著超越 GIZA++。
引用
@article{arxiv.2004.14837,
title = {Accurate Word Alignment Induction from Neural Machine Translation},
author = {Yun Chen and Yang Liu and Guanhua Chen and Xin Jiang and Qun Liu},
journal= {arXiv preprint arXiv:2004.14837},
year = {2020}
}
备注
Accepted by EMNLP2020