神经机器翻译的矩匹配训练：一项初步研究
计算与语言
2018-12-31 v2 机器学习
摘要
在先前工作中，若能提供外部先验知识，例如允许模型在训练和推理期间访问显式特征的嵌入，神经序列模型已被证明可显著改进。在本工作中，我们提出了一种关于如何以原则性方式融入先验知识的不同视角，使用矩匹配框架。在该方法中，序列模型的标准局部交叉熵训练与一种矩匹配训练模式相结合，该模式鼓励某些预定义特征在模型分布与经验分布之间的期望相等。特别地，我们展示了如何推导对训练至关重要的某些随机梯度的无偏估计，并将我们的框架与形式相关的一个框架比较：强化学习中的策略梯度训练，指出两种方法在先验假设种类方面的一些重要差异。我们的初步结果令人鼓舞，显示了所提框架的有效性。
引用
@article{arxiv.1812.09836,
title = {Moment Matching Training for Neural Machine Translation: A Preliminary Study},
author = {Cong Duy Vu Hoang and Ioan Calapodescu and Marc Dymetman},
journal= {arXiv preprint arXiv:1812.09836},
year = {2018}
}
备注
A preliminary study