面向低资源神经机器翻译的元学习
计算与语言
2018-08-28 v1 机器学习
摘要
在本文中，我们提议将最近引入的与模型无关的元学习算法（MAML）扩展至低资源神经机器翻译（NMT）。我们将低资源翻译构建为一个元学习问题，并基于多语言高资源语言任务学习适应低资源语言。我们使用通用词汇表示~\citep{gu2018universal}来克服不同语言间输入输出不匹配。我们使用十八种欧洲语言（Bg、Cs、Da、De、El、Es、Et、Fr、Hu、It、Lt、Nl、Pl、Pt、Sk、Sl、Sv和Ru）作为源任务，五种多样语言（Ro、Lv、Fi、Tr和Ko）作为目标任务来评估所提出的元学习策略。我们表明，所提方法显著优于基于多语言、迁移学习的方法~\citep{zoph2016transfer}，并使我们仅用一小部分训练样本即可训练出有竞争力的NMT系统。例如，所提方法在仅见16,000个翻译词（约600个平行句）的情况下，可在Romanian-English WMT'16上达到高达22.04的BLEU。
引用
@article{arxiv.1808.08437,
title = {Meta-Learning for Low-Resource Neural Machine Translation},
author = {Jiatao Gu and Yong Wang and Yun Chen and Kyunghyun Cho and Victor O. K. Li},
journal= {arXiv preprint arXiv:1808.08437},
year = {2018}
}
备注
Accepted as a full paper at EMNLP 2018