Epi-Curriculum:用于神经机器翻译低资源领域自适应的情景课程学习
机器学习
2023-09-07 v1 计算与语言
摘要
神经机器翻译(NMT)模型已取得成功,但在以有限数据翻译新领域时其性能仍然较差。在本文中,我们提出一种新方法 Epi-Curriculum 来解决低资源领域自适应(DA),其包含一个新的情景训练框架以及去噪课程学习。我们的情景训练框架通过将编码器/解码器情景式地暴露于不熟练的解码器/编码器来增强模型对领域偏移的鲁棒性。去噪课程学习过滤带噪数据,并通过从易到难的任务逐步引导学习过程来进一步提升模型的适应性。在英语-德语和英语-罗马尼亚语翻译上的实验表明:(i) Epi-Curriculum 在已见和未见领域中均提升了模型的鲁棒性和适应性;(ii) 我们的情景训练框架增强了编码器和解码器对领域偏移的鲁棒性。
引用
@article{arxiv.2309.02640,
title = {Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation},
author = {Keyu Chen and Di Zhuang and Mingchen Li and J. Morris Chang},
journal= {arXiv preprint arXiv:2309.02640},
year = {2023}
}