以 Seer Forcing 引导 Teacher Forcing 用于神经机器翻译
计算与语言
2021-06-15 v1
摘要
尽管 teacher forcing 已成为神经机器翻译的主要训练范式,它通常仅基于过去信息进行预测,因而缺乏对未来的全局规划。为解决该问题,我们在训练阶段的编码器-解码器框架中引入另一个称为 seer decoder 的解码器,其在目标预测中融入未来信息。同时,我们通过知识蒸馏迫使常规解码器模拟 seer 解码器的行为。如此,在测试时常规解码器可在 seer 解码器缺席的情况下表现得如同 seer 解码器。在汉英、英德和英罗翻译任务上的实验结果表明,我们的方法能显著优于具有竞争力的基线,并在更大的数据集上取得更大提升。此外,实验还证明,相较于对抗学习和 L2 正则化,知识蒸馏是将知识从 seer 解码器迁移到常规解码器的最佳方式。
引用
@article{arxiv.2106.06751,
title = {Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation},
author = {Yang Feng and Shuhao Gu and Dengji Guo and Zhengxin Yang and Chenze Shao},
journal= {arXiv preprint arXiv:2106.06751},
year = {2021}
}
备注
Accepted by ACL-IJCNLP 2021 main conference