半自回归训练改进掩码预测解码
计算与语言
2020-01-27 v1 机器学习
机器学习
摘要
最近提出的掩码预测解码算法已缩小了半自回归机器翻译模型与传统从左至右方法之间的性能差距。我们为条件掩码语言模型引入一种新的训练方法 SMART，其模拟掩码预测的半自回归行为，生成以模型预测作为其输入一部分的训练样本。使用 SMART 训练的模型在采用掩码预测解码时产生更高质量的翻译，有效缩小了与完全自回归模型之间剩余的性能差距。
引用
@article{arxiv.2001.08785,
title = {Semi-Autoregressive Training Improves Mask-Predict Decoding},
author = {Marjan Ghazvininejad and Omer Levy and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2001.08785},
year = {2020}
}