重新审视大规模下的非自回归翻译
计算与语言
2023-06-05 v2
摘要
在真实系统中，扩展规模对提升自回归翻译（AT）质量至关重要，然而这一点在非自回归翻译（NAT）中尚未得到充分研究。在本工作中，我们通过系统研究扩展规模对NAT行为的影响来弥补这一差距。在六个WMT基准和两个先进NAT模型上的大量实验表明，扩展规模能够缓解NAT模型常被提及的弱点，从而获得更好的翻译性能。为减少扩展规模对解码速度的副作用，我们凭经验研究了NAT编码器和解码器对翻译性能的影响。在大规模WMT20 En-De上的实验结果显示，非对称架构（如更大的编码器和更小的解码器）能够达到与扩展模型相当的性能，同时保持标准NAT模型在解码速度上的优势。为此，我们通过在扩展数据集上验证扩展后的NAT模型建立了一个新的基准，可作为未来工作的强基线。我们在 https://github.com/DeepLearnXMU/Scaling4NAT 发布了代码和系统输出。
引用
@article{arxiv.2305.16155,
title = {Revisiting Non-Autoregressive Translation at Scale},
author = {Zhihao Wang and Longyue Wang and Jinsong Su and Junfeng Yao and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2305.16155},
year = {2023}
}
备注
13 pages, Findings of ACL 2023