NiuTrans 系统参加 WNGT 2020 效率任务
计算与语言
2021-09-17 v1
摘要
本文描述了 NiuTrans 团队向 WNGT 2020 效率共享任务提交的系统。我们聚焦于使用面向 NLP 任务的灵活工具包 NiuTensor（https://github.com/NiuTrans/NiuTensor）对深层 Transformer 模型 \cite{wang-etal-2019-learning, li-etal-2019-niutrans} 进行高效实现。我们通过模型压缩与知识蒸馏探索了 Transformer 模型中深层编码器与浅层解码器的组合。神经机器翻译解码还受益于 FP16 推理、注意力缓存、动态批处理与批剪枝。我们的系统在翻译质量与效率上均取得有前景的结果，例如，我们最快的系统在使用 RTX 2080 Ti 时可每秒翻译超过 40,000 个词符，同时在 \textit{newstest2018} 上保持 42.9 BLEU。代码、模型与 docker 镜像发布于 NiuTrans.NMT（https://github.com/NiuTrans/NiuTrans.NMT）。
引用
@article{arxiv.2109.08008,
title = {The NiuTrans System for WNGT 2020 Efficiency Task},
author = {Chi Hu and Bei Li and Ye Lin and Yinqiao Li and Yanyang Li and Chenglong Wang and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2109.08008},
year = {2021}
}
备注
NiuTrans at the WNGT 2020 Translation Efficiency Task