DiMS：为机器翻译蒸馏迭代非自回归 Transformer 的多个步骤
计算与语言
2023-06-13 v2
摘要
迭代非自回归 Transformer 的计算优势随着解码步数的增加而减小。作为补救，我们提出蒸馏多步（DiMS），一种简单而有效的蒸馏技术，用于减少达到特定翻译质量所需的步数。蒸馏后的模型享有早期迭代的计算优势，同时保留了多个迭代步骤带来的改进。DiMS 依赖两个模型，即学生模型和教师模型。学生模型被优化以预测教师模型经过多个解码步后的输出，而教师模型通过慢速移动平均跟随学生模型。移动平均保持教师模型知识的更新，并提升教师模型所提供标签的质量。在推理期间，学生模型用于翻译，不增加额外计算。我们在多个模型上验证了 DiMS 的有效性，在 WMT'14 De-En 的蒸馏版和原始版上分别获得单步翻译准确率 7.8 和 12.9 个 BLEU 点的提升。
引用
@article{arxiv.2206.02999,
title = {DiMS: Distilling Multiple Steps of Iterative Non-Autoregressive Transformers for Machine Translation},
author = {Sajad Norouzi and Rasa Hosseinzadeh and Felipe Perez and Maksims Volkovs},
journal= {arXiv preprint arXiv:2206.02999},
year = {2023}
}
备注
Code available at https://github.com/layer6ai-labs/DiMS