面向低资源神经机器翻译的动态课程学习
计算与语言
2020-12-01 v1
摘要
近年来，大量数据使神经机器翻译（NMT）取得巨大成功。但如果在小规模语料上训练这些模型，仍具挑战。此时，数据的使用方式显得更为重要。本文研究低资源NMT中训练数据的有效使用。具体地，我们提出一种动态课程学习（DCL）方法，在训练中重排训练样本。与以往工作不同，我们不使用静态评分函数重排，而是以两种方式——损失下降与模型能力——动态确定训练样本顺序。这通过突出当前模型有足够能力学习的简单样本而简化训练。我们在基于Transformer的系统中测试了DCL方法。实验结果表明，在三个低资源机器翻译基准及WMT'16 En-De的不同规模数据上，DCL优于若干强基线。
引用
@article{arxiv.2011.14608,
title = {Dynamic Curriculum Learning for Low-Resource Neural Machine Translation},
author = {Chen Xu and Bojie Hu and Yufan Jiang and Kai Feng and Zeyang Wang and Shen Huang and Qi Ju and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2011.14608},
year = {2020}
}
备注
COLING 2020