神经机器翻译微调中的正则化技术
计算与语言
2017-08-01 v1
摘要
我们研究了神经机器翻译的有监督领域自适应技术，其中将一个在大规模域外数据集上训练的现有模型适配到一个小的域内数据集上。在此场景中，过拟合是一个主要挑战。我们研究了一系列减少过拟合和改善迁移学习的技术，包括正则化技术，如 dropout 和朝向域外先验的 L2 正则化。此外，我们引入了 tuneout，这是一种受 dropout 启发的新型正则化技术。我们将这些技术单独及组合应用于神经机器翻译，在 IWSLT 英语->德语和英语->俄语数据集上取得了改进。我们还研究了 NMT 领域自适应所需的域内训练数据量，发现训练数据量与 BLEU 值增益之间存在对数关系。
引用
@article{arxiv.1707.09920,
title = {Regularization techniques for fine-tuning in neural machine translation},
author = {Antonio Valerio Miceli Barone and Barry Haddow and Ulrich Germann and Rico Sennrich},
journal= {arXiv preprint arXiv:1707.09920},
year = {2017}
}
备注
EMNLP 2017 short paper; for bibtex, see http://homepages.inf.ed.ac.uk/rsennric/bib.html#micelibarone2017b