基于概率 n-gram 匹配的贪婪搜索用于神经机器翻译
计算与语言
2018-09-11 v1
摘要
神经机器翻译（NMT）模型通常使用基于教师强制算法的词级损失进行训练，这不仅对翻译的评估不当，还存在曝光偏差问题。强化框架下的序列级训练可缓解词级损失的问题，但因梯度估计的高方差导致其性能不稳定。基于此，我们提出一种基于概率 n-gram 匹配的可微序列级训练目标，可避免强化框架。此外，该方法在训练中执行贪婪搜索，像推理时一样使用预测词作为上下文，以缓解曝光偏差问题。在 NIST 中英翻译任务上的实验结果表明，我们的方法显著优于基于强化的算法，并较强基线系统平均提升 1.5 个 BLEU 点。
引用
@article{arxiv.1809.03132,
title = {Greedy Search with Probabilistic N-gram Matching for Neural Machine Translation},
author = {Chenze Shao and Yang Feng and Xilin Chen},
journal= {arXiv preprint arXiv:1809.03132},
year = {2018}
}
备注
7 pages, accepted by emnlp 2018