解码阶段神经机器翻译的动态Oracle
计算与语言
2017-10-18 v2
摘要
过去几年见证了端到端神经机器翻译 (NMT) 的快速发展。然而，NMT在解码时存在训练与推断之间的差异，这可能导致严重问题，因为模型可能处于训练期间从未见过的部分状态空间中。为解决该问题，人们提出了Scheduled Sampling。然而，Scheduled Sampling存在某些局限性，我们提出了两种基于动态oracle的方法来改进它。我们通过将训练过程转向较少引导的方案，同时聚合oracle的演示，成功缓解了这种差异。实验结果表明，所提出的方法相比标准NMT系统提高了翻译质量。
引用
@article{arxiv.1709.06265,
title = {Dynamic Oracle for Neural Machine Translation in Decoding Phase},
author = {Zi-Yi Dou and Hao Zhou and Shu-Jian Huang and Xin-Yu Dai and Jia-Jun Chen},
journal= {arXiv preprint arXiv:1709.06265},
year = {2017}
}