基于 Gumbel-Greedy 解码的神经机器翻译
计算与语言
2017-06-26 v1
摘要
以往的神经机器翻译模型在测试时使用一些启发式搜索算法（例如，束搜索）以避免在翻译句子上求解最大后验问题。在本文中，我们提出了 Gumbel-Greedy 解码，它训练一个生成网络在已训练的模型下预测翻译。我们使用 Gumbel-Softmax 重参数化来解决这一问题，这使得我们的生成网络可微，并可通过标准随机梯度方法进行训练。我们通过实验证明，我们提出的模型对于生成离散词序列是有效的。
引用
@article{arxiv.1706.07518,
title = {Neural Machine Translation with Gumbel-Greedy Decoding},
author = {Jiatao Gu and Daniel Jiwoong Im and Victor O. K. Li},
journal= {arXiv preprint arXiv:1706.07518},
year = {2017}
}