神经机器翻译中课程学习的实证探索
计算与语言
2018-11-05 v1 机器学习
摘要
基于深度神经网络的机器翻译系统训练代价高昂。课程学习旨在通过选择训练期间样本呈现的顺序，以帮助更快训练出更好的模型，从而解决该问题。我们采用课程学习的概率视角，得以灵活评估课程设计的影响，并在德英翻译任务上进行了广泛探索。结果表明，有可能在翻译质量不损失的情况下改善收敛时间。然而，结果对样本难度准则、课程调度及其他超参数的选择高度敏感。
引用
@article{arxiv.1811.00739,
title = {An Empirical Exploration of Curriculum Learning for Neural Machine Translation},
author = {Xuan Zhang and Gaurav Kumar and Huda Khayrallah and Kenton Murray and Jeremy Gwinnup and Marianna J Martindale and Paul McNamee and Kevin Duh and Marine Carpuat},
journal= {arXiv preprint arXiv:1811.00739},
year = {2018}
}