基于预训练神经机器翻译模型的强化课程学习
计算与语言
2020-04-14 v1 机器学习
摘要
神经机器翻译（NMT）的竞争性能关键依赖于大量训练数据。然而，获取高质量翻译句对需要专业知识且成本高昂。因此，如何最好地利用给定且具有多样质量和特征的样本数据集，成为 NMT 中一个重要但研究不足的问题。课程学习方法已被引入 NMT，以通过规定数据输入顺序（基于如噪声和难度水平评估等启发式方法）来优化模型性能。然而，现有方法需要从头训练，而实践中大多数 NMT 模型已在大数据上预训练。此外，作为启发式方法，它们泛化性不佳。在本文中，我们旨在通过学习一种课程，从原始训练集中重新选择有影响力的数据样本来改进预训练 NMT 模型，并将该任务表述为强化学习问题。具体而言，我们提出一种基于确定性 Actor-Critic 的数据选择框架，其中评论家网络预测由于某样本引起的模型性能期望变化，而行动者网络学习从呈现给它的随机批次样本中选择最佳样本。在多个翻译数据集上的实验表明，当原始批训练达到瓶颈时，我们的方法能进一步提升 NMT 性能而无需使用额外新训练数据，并显著优于几种强基线方法。
引用
@article{arxiv.2004.05757,
title = {Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models},
author = {Mingjun Zhao and Haijiang Wu and Di Niu and Xiaoli Wang},
journal= {arXiv preprint arXiv:2004.05757},
year = {2020}
}
备注
Accepted as full paper by AAAI-2020 (oral presentation)