面向神经机器翻译的自引导课程学习
计算与语言
2021-08-30 v3 人工智能
摘要
在机器学习领域，训练良好的模型被认为能够恢复训练标签，即模型预测的合成标签应尽可能接近真实标签。受此启发，我们提出一种自引导课程策略，鼓励神经机器翻译（NMT）模型的学习遵循上述恢复准则，并将每个训练样本的恢复程度视为其学习难度。具体而言，我们采用句子级 BLEU 分数作为恢复程度的代理指标。与依赖语言先验知识或第三方语言模型的现有课程不同，我们所选取的学习难度更适合衡量 NMT 模型的知识掌握程度。在包括 WMT14 英⇒德和 WMT17 中⇒英在内的翻译基准上的实验表明，我们的方法相较强大的基线 Transformer 能持续提升翻译性能。
引用
@article{arxiv.2105.04475,
title = {Self-Guided Curriculum Learning for Neural Machine Translation},
author = {Lei Zhou and Liang Ding and Kevin Duh and Shinji Watanabe and Ryohei Sasano and Koichi Takeda},
journal= {arXiv preprint arXiv:2105.04475},
year = {2021}
}
备注
IWSLT 2021