神经机器翻译中利用动态目标语义改进双向解码
计算与语言
2019-11-06 v1
摘要
通常,神经机器翻译模型以从左至右(L2R)方式生成目标词,无法利用任何未来(右侧)语义信息,这往往产生不平衡的翻译。近期工作尝试在双向解码中利用从右至左(R2L)解码器以缓解该问题。本文提出一种新颖的\textbf{动态交互模块}(\textbf{DIM}),动态利用来自 R2L 翻译的目标语义以增强 L2R 翻译质量。与其他双向解码方法不同,DIM 首先通过寻址与读取操作提取有用的目标信息,然后更新目标语义以追踪交互历史。此外,我们进一步在训练目标中引入\textbf{一致性正则化}项以缩小 L2R 与 R2L 翻译间的差距。在 NIST 汉英与 WMT'16 英罗曼语翻译任务上的实验结果表明,我们的系统相较基线系统取得显著提升,并以远少于 SOTA Transformer 模型的参数量达到与之可比的结果。
引用
@article{arxiv.1911.01597,
title = {Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation},
author = {Yong Shan and Yang Feng and Jinchao Zhang and Fandong Meng and Wen Zhang},
journal= {arXiv preprint arXiv:1911.01597},
year = {2019}
}