无需知识蒸馏的多语言非自回归机器翻译
计算与语言
2025-02-10 v1
摘要
多语言神经机器翻译 (MNMT) 旨在使用单一模型处理多个翻译方向。近期的工作应用非自回归 Transformer 来提高 MNMT 的效率，但需要昂贵的知识蒸馏 (KD) 过程。为此，我们提出了一种用于非自回归多语言机器翻译的 M-DAT 方法。我们的系统利用了有向无环 Transformer (DAT) 的最新进展，无需 KD。我们进一步提出了一种枢纽反向翻译 (PivotBT) 方法，以提升对未见翻译方向的泛化能力。实验表明，我们的 M-DAT 在非自回归 MNMT 中取得了 SOTA 性能。
引用
@article{arxiv.2502.04537,
title = {Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation},
author = {Chenyang Huang and Fei Huang and Zaixiang Zheng and Osmar R. Zaïane and Hao Zhou and Lili Mou},
journal= {arXiv preprint arXiv:2502.04537},
year = {2025}
}
备注
In Findings of the Association for Computational Linguistics: IJCNLP-AACL 2023