RoyalFlush系统参加WMT 2022效率任务
计算与语言
2022-12-06 v1
摘要
本文描述了RoyalFlush神经机器翻译系统参加WMT 2022翻译效率任务的提交。与常用的自回归翻译系统不同，我们采用称为混合回归翻译（HRT）的两阶段翻译范式，以结合自回归与非自回归翻译的优势。具体而言，HRT首先以自回归方式生成不连续序列（例如每个词做一次预测，），然后以非自回归方式一次性填补所有先前跳过的词。因此，我们可以通过调整轻松权衡翻译质量与速度。此外，通过整合其他建模技术（如序列级知识蒸馏与深编码器-浅解码器层分配策略）以及大量工程优化，HRT提升了80\%推理速度，并达到与同等容量自回归（AT）对照系统相当的翻译性能。我们最快的系统在GPU延迟设定下达到6k+词/秒，估计比去年冠军快约3.1倍。
引用
@article{arxiv.2212.01543,
title = {The RoyalFlush System for the WMT 2022 Efficiency Task},
author = {Bo Qin and Aixin Jia and Qiang Wang and Jianning Lu and Shuqin Pan and Haibo Wang and Ming Chen},
journal= {arXiv preprint arXiv:2212.01543},
year = {2022}
}
备注
Accepted by WMT 2022. arXiv admin note: text overlap with arXiv:2210.10416