Transformer 上用于机器翻译的正则化上下文门
计算与语言
2020-04-21 v2
摘要
在基于循环神经网络(RNN)的神经机器翻译(NMT)中,上下文门能有效控制源端与目标端上下文的贡献。然而,将其扩展至比 RNN 更复杂的先进 Transformer 架构颇具挑战。本文首先提供一种识别源端与目标端上下文的方法,继而引入门机制以控制 Transformer 中源端与目标端的贡献。此外,为进一步缓解门机制中的偏差问题,本文提出一种正则化方法,利用由点互信息自动生成的监督来引导门的学习。在 4 个翻译数据集上的大量实验表明,所提模型相较强 Transformer 基线平均获得 1.0 BLEU 分的提升。
引用
@article{arxiv.1908.11020,
title = {Regularized Context Gates on Transformer for Machine Translation},
author = {Xintong Li and Lemao Liu and Rui Wang and Guoping Huang and Max Meng},
journal= {arXiv preprint arXiv:1908.11020},
year = {2020}
}
备注
Published in ACL 2020