通过自审查机制将序列信息注入条件掩码翻译模型
计算与语言
2020-10-27 v2
摘要
非自回归模型以并行方式生成目标词，其解码速度更快但牺牲了翻译准确性。为补救非自回归模型的缺陷翻译，一种有前景的方法是训练条件掩码翻译模型（CMTM），并在若干次迭代中精炼生成结果。遗憾的是，这种方法几乎未考虑目标词之间的序列依赖，不可避免地导致翻译质量下降。因此，我们并非仅训练基于 Transformer 的 CMTM，而是提出一种自审查机制将序列信息注入其中。具体而言，我们向 CMTM 的同一解码器插入一个从左到右的掩码，然后引导其以自回归方式审查 CMTM 生成的每个词是否应被替换或保留。实验结果（WMT14 EnDe 和 WMT16 EnRo）表明，我们的模型比典型 CMTM 使用了显著更少的训练计算量，并且以超过 1 BLEU 的优势优于多个当前最优非自回归模型。通过知识蒸馏，我们的模型甚至超越典型的从左到右 Transformer 模型，同时显著加快了解码速度。
引用
@article{arxiv.2010.09194,
title = {Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism},
author = {Pan Xie and Zhi Cui and Xiuyin Chen and Xiaohui Hu and Jianwei Cui and Bin Wang},
journal= {arXiv preprint arXiv:2010.09194},
year = {2020}
}
备注
accepted to coling 2020