基于强化学习的神经机器翻译课程优化
计算与语言
2019-03-04 v1
摘要
我们考虑在神经机器翻译(NMT)中高效利用异构训练数据的问题。具体而言，给定带有句子级特征(如噪声)的训练数据集，我们寻求最优课程，即训练期间向系统呈现示例的顺序。我们的课程框架允许示例出现任意次数，从而推广了数据加权、过滤和微调方案。我们不使用先验知识设计课程，而是使用强化学习在单次训练过程中与NMT系统联合自动学习一个课程。我们表明，该方法在Paracrawl和WMT英译法数据集上可比均匀与过滤基线高出最多+3.4 BLEU，并与手工设计的最先进课程性能相当。
引用
@article{arxiv.1903.00041,
title = {Reinforcement Learning based Curriculum Optimization for Neural Machine Translation},
author = {Gaurav Kumar and George Foster and Colin Cherry and Maxim Krikun},
journal= {arXiv preprint arXiv:1903.00041},
year = {2019}
}
备注
NAACL 2019 short paper. Reviewer comments not yet addressed