面向神经机器翻译领域自适应的元课程学习
计算与语言
2021-03-04 v1 机器学习
摘要
元学习已被充分验证有益于低资源神经机器翻译（NMT）。然而，我们发现元训练后的 NMT 无法提升元训练阶段未见领域的翻译性能。本文旨在通过提出一种新颖的面向 NMT 领域自适应的元课程学习来缓解该问题。在元训练期间，NMT 首先从每个领域学习相似课程以避免过早陷入不良的局部最优，最后学习个性化课程以提升模型学习领域特定知识的鲁棒性。在 10 个不同低资源领域上的实验结果表明，元课程学习能够提升熟悉与陌生领域的翻译性能。所有代码与数据均可在 https://github.com/NLP2CT/Meta-Curriculum 免费获取。
引用
@article{arxiv.2103.02262,
title = {Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation},
author = {Runzhe Zhan and Xuebo Liu and Derek F. Wong and Lidia S. Chao},
journal= {arXiv preprint arXiv:2103.02262},
year = {2021}
}
备注
Accepted to AAAI 2021