MvSR-NAT：面向非自回归机器翻译的多视图子集正则化
计算与语言
2021-08-20 v1
摘要
条件掩码语言模型（CMLM）在非自回归机器翻译（NAT）中取得了令人印象深刻的进展。它们通过预测目标句中随机掩码的子集来学习条件翻译模型。基于 CMLM 框架，我们引入多视图子集正则化（MvSR），一种新颖的正则化方法来提升 NAT 模型的性能。具体而言，MvSR 由两部分组成：（1）\textit{共享掩码一致性}：我们以不同的掩码策略前向传播同一目标句，并鼓励共享掩码位置的预测彼此一致。（2）\textit{模型一致性}：我们维护模型权重的指数移动平均，并强制平均模型与在线模型之间的预测一致。在不改变基于 CMLM 的架构的情况下，我们的方法在三个公开基准上取得了显著性能，相较先前的 NAT 模型有 0.36-1.14 的 BLEU 提升。此外，与更强的 Transformer 基线相比，我们在小数据集（WMT16 ROEN 和 IWSLT DEEN）上将差距缩小到 0.01-0.44 个 BLEU 分数。
引用
@article{arxiv.2108.08447,
title = {MvSR-NAT: Multi-view Subset Regularization for Non-Autoregressive Machine Translation},
author = {Pan Xie and Zexian Li and Xiaohui Hu},
journal= {arXiv preprint arXiv:2108.08447},
year = {2021}
}