NiuTrans系统参加WMT21效率任务
计算与语言
2021-09-17 v1
摘要
本文描述了NiuTrans系统参加WMT21翻译效率任务（http://statmt.org/wmt21/efficiency-task.html）。继去年工作之后，我们探索多种在保持翻译质量的同时提升效率的技术。我们研究了轻量Transformer架构与知识蒸馏策略的组合。同时，我们通过图优化、低精度、动态批处理与并行前/后处理提升了翻译效率。我们的系统在NVIDIA A100上每秒可翻译247,000词，比去年系统快3。我们的系统在GPU吞吐量赛道上最快且内存消耗最低。代码、模型与流水线将于NiuTrans.NMT（https://github.com/NiuTrans/NiuTrans.NMT）提供。
引用
@article{arxiv.2109.08003,
title = {The NiuTrans System for the WMT21 Efficiency Task},
author = {Chenglong Wang and Chi Hu and Yongyu Mu and Zhongxiang Yan and Siming Wu and Minyi Hu and Hang Cao and Bei Li and Ye Lin and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2109.08003},
year = {2021}
}
备注
NiuTrans at the WMT21 Translation Efficiency Task