面向端侧神经机器翻译的动态多分支层
计算与语言
2022-03-18 v2
摘要
随着人工智能(AI)的快速发展,将神经机器翻译(NMT)等 AI 应用从云端迁移至移动设备成为趋势。受限于有限的硬件资源与电量,端侧 NMT 系统的性能远不能令人满意。受条件计算的启发,我们提出以动态多分支层提升端侧 NMT 系统的性能。具体而言,我们设计了一种逐层动态多分支网络,在训练与推理时仅激活一个分支。由于训练时并非所有分支都被激活,我们提出共享-私有重参数化以确保每个分支得到充分训练。在几乎相同的计算代价下,相较 Transformer 模型,我们的方法在 WMT14 英德翻译任务上提升达 1.7 个 BLEU 点,在 WMT20 中英翻译任务上提升达 1.8 个 BLEU 点。与同样使用多分支的强基线相比,所提方法在参数量相同时最高快 1.5 倍。
引用
@article{arxiv.2105.06679,
title = {Dynamic Multi-Branch Layers for On-Device Neural Machine Translation},
author = {Zhixing Tan and Zeyuan Yang and Meng Zhang and Qun Liu and Maosong Sun and Yang Liu},
journal= {arXiv preprint arXiv:2105.06679},
year = {2022}
}
备注
Source code is available at https://github.com/THUNLP-MT/Transformer-DMB