基于共享编码器的多任务学习用于非自回归机器翻译
计算与语言
2021-05-18 v2
摘要
非自回归机器翻译（NAT）模型已展现出显著的推理加速，但翻译精度较差。解决该问题的常见做法是将自回归机器翻译（AT）知识迁移至 NAT 模型，例如使用知识蒸馏。本工作中，我们假设并经实证验证 AT 与 NAT 编码器捕获了源句子的不同语言属性。因此，我们提出采用多任务学习，通过编码器共享将 AT 知识迁移至 NAT 模型。具体而言，我们将 AT 模型作为辅助任务以增强 NAT 模型性能。在 WMT14 英德与 WMT16 英罗数据集上的实验结果表明，所提多任务 NAT 相较基线 NAT 模型取得显著提升。此外，在大规模 WMT19 与 WMT20 英德数据集上的性能证实了所提方法的一致性。实验还表明，我们的多任务 NAT 与 NAT 的标准知识迁移方法知识蒸馏互为补充。
引用
@article{arxiv.2010.12868,
title = {Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation},
author = {Yongchang Hao and Shilin He and Wenxiang Jiao and Zhaopeng Tu and Michael Lyu and Xing Wang},
journal= {arXiv preprint arXiv:2010.12868},
year = {2021}
}
备注
NAACL 2021