ConsistTL：面向低资源神经机器翻译的迁移学习一致性建模
计算与语言
2022-12-09 v1 人工智能
机器学习
摘要
迁移学习是一种简单而强大的方法，可用于提升低资源神经机器翻译（NMT）的模型性能。现有的 NMT 迁移学习方法都是静态的，仅通过参数初始化将知识从父模型一次性传递给子模型。本文提出一种新颖的 NMT 迁移学习方法，即 ConsistTL，它能够在子模型训练过程中持续地从父模型迁移知识。具体而言，对于子模型的每个训练样本，ConsistTL 为父模型构造语义等价的样本，并鼓励父模型与子模型在该样本上保持预测一致性，这等价于子模型在父模型的指导下学习每个样本。在五个低资源 NMT 任务上的实验结果表明，ConsistTL 相比强迁移学习基线有显著提升，在广泛使用的 WMT17 土耳其语-英语基准上较现有回译模型最高提升 1.7 BLEU。进一步分析表明，ConsistTL 能够改善子模型的推理校准。代码与脚本可在 https://github.com/NLP2CT/ConsistTL 免费获取。
引用
@article{arxiv.2212.04262,
title = {ConsistTL: Modeling Consistency in Transfer Learning for Low-Resource Neural Machine Translation},
author = {Zhaocong Li and Xuebo Liu and Derek F. Wong and Lidia S. Chao and Min Zhang},
journal= {arXiv preprint arXiv:2212.04262},
year = {2022}
}
备注
Accepted to EMNLP 2022