单一参考不足：面向非自回归翻译的参考选择多样化蒸馏
计算与语言
2022-05-31 v1
摘要
非自回归神经机器翻译（NAT）受多模态问题困扰：源句可能有多个正确译文，但损失函数仅依据参考句计算。序列级知识蒸馏通过用自回归模型的输出替换目标，使目标更具确定性。然而，蒸馏数据集中的多模态问题仍不可忽略。此外，从特定教师模型学习限制了模型能力的上限，制约了NAT模型的潜力。本文认为单一参考不足，并提出面向NAT的参考选择多样化蒸馏（DDRS）。具体而言，我们首先提出一种称为SeedDiv的多样化机器翻译方法，能为每个源句生成包含多个高质量参考译文的数据集。训练期间，我们将NAT输出与所有参考比对，并选择最契合NAT输出的参考来训练模型。在广泛使用的机器翻译基准上的实验证明了DDRS的有效性：在WMT14英德翻译上仅单次解码即取得29.82 BLEU，将NAT的最优性能提升超过1 BLEU。源代码：https://github.com/ictnlp/DDRS-NAT
引用
@article{arxiv.2205.14333,
title = {One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation},
author = {Chenze Shao and Xuanfu Wu and Yang Feng},
journal= {arXiv preprint arXiv:2205.14333},
year = {2022}
}
备注
NAACL 2022 main conference