向后与向前看：基于双向解码器的神经机器翻译自知识蒸馏
计算与语言
2022-03-14 v2
摘要
神经机器翻译（NMT）模型通常通过单向解码器训练，这对应于优化向前一步的预测。然而，这种单向解码框架可能倾向于关注局部结构而非全局连贯性。为缓解该问题，我们提出一种新方法——用于神经机器翻译的带双向解码器的自知识蒸馏（SBD-NMT）。我们部署一个向后解码器，它可作为对向前解码器的有效正则化方法。通过利用向后解码器关于更长期未来的信息，蒸馏向后解码器中学到的知识可鼓励自回归 NMT 模型提前规划。实验表明，我们的方法在多个机器翻译数据集上显著优于强大的 Transformer 基线。
引用
@article{arxiv.2203.05248,
title = {Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation},
author = {Xuanwei Zhang and Libin Shen and Disheng Pan and Liang Wang and Yanjun Miao},
journal= {arXiv preprint arXiv:2203.05248},
year = {2022}
}