利用单语数据改进非自回归神经机器翻译
计算与语言
2020-12-01 v3 机器学习
摘要
非自回归（NAR）神经机器翻译通常通过自回归（AR）模型的知识蒸馏来完成。在此框架下，我们利用大规模单语语料库提升NAR模型的性能，旨在迁移AR模型的泛化能力同时防止过拟合。在一个强NAR基线之上，我们在WMT14英德与WMT16英罗新闻翻译任务上的实验结果证实，单语数据增强持续提高NAR模型性能以接近教师AR模型表现，取得与文献中最佳非迭代NAR方法相当或更好的结果，并有助于减轻训练过程中的过拟合。
引用
@article{arxiv.2005.00932,
title = {Improving Non-autoregressive Neural Machine Translation with Monolingual Data},
author = {Jiawei Zhou and Phillip Keung},
journal= {arXiv preprint arXiv:2005.00932},
year = {2020}
}
备注
Published in ACL 2020