论强化学习用于神经机器翻译的缺陷
计算与语言
2020-01-16 v4 人工智能
机器学习
摘要
强化学习（RL）常用于提升文本生成任务（包括机器翻译（MT））的性能， notably through the use of Minimum Risk Training (MRT) 与生成对抗网络（GAN）。然而，关于这些方法在MT背景下学习什么以及如何学习，人们知之甚少。我们证明，MT中最常见的RL方法之一并不优化期望奖励，并表明其他方法收敛所需时间长得不可行。事实上，我们的结果表明，MT中的RL实践仅可能在预训练参数已接近产生正确翻译时提升性能。我们的发现进一步表明，观察到的增益可能源于与训练信号无关的效果，而是来自分布曲线形状的变化。
引用
@article{arxiv.1907.01752,
title = {On the Weaknesses of Reinforcement Learning for Neural Machine Translation},
author = {Leshem Choshen and Lior Fox and Zohar Aizenbud and Omri Abend},
journal= {arXiv preprint arXiv:1907.01752},
year = {2020}
}
备注
Accepted to ICLR 2020 (matching content, different style)