用于少样本 NMT 适配的元学习
计算与语言
2020-04-07 v1
摘要
我们提出了 META-MT，一种在少样本设置下适配神经机器翻译（NMT）系统的元学习方法。META-MT 提供了一种新方法，使 NMT 模型能够以最少量的领域内数据轻松适配到许多目标领域。我们将 NMT 系统的适配构建为一个元学习问题，其中我们基于模拟的离线元训练领域适配任务来学习适配到新的未见领域。我们在十个领域上使用通用的大规模 NMT 系统评估了所提出的元学习策略。我们表明，当只有极少量的领域内样本可用时，META-MT 显著优于经典的领域适配。我们的实验表明，在仅看到 4,000 个翻译单词（300 个平行句子）后，META-MT 可以比经典微调高出多达 2.5 个 BLEU 点。
引用
@article{arxiv.2004.02745,
title = {Meta-Learning for Few-Shot NMT Adaptation},
author = {Amr Sharaf and Hany Hassan and Hal Daumé},
journal= {arXiv preprint arXiv:2004.02745},
year = {2020}
}