用于序列到序列循环神经网络机器翻译的数据-模型混合并行训练
分布式、并行与集群计算
2019-09-10 v2 计算与语言
机器学习
神经与进化计算
摘要
在涉及神经网络的许多任务（如专利翻译）中，缩短训练时间是一个重要问题。数据并行和模型并行是在单台机器上使用多个图形处理单元（GPU）来缩短训练时间的两种常用方法。本文中，我们提出了一种用于序列到序列（Seq2Seq）循环神经网络（RNN）机器翻译的数据-模型混合并行方法。我们对Seq2Seq模型的RNN编码器-解码器部分采用模型并行，对模型的注意力-softmax部分采用数据并行。在使用4个GPU时，我们实现了4.13至4.20倍的加速，相较于使用1个GPU的训练速度，且以BLEU分数衡量的机器翻译精度未受影响。
引用
@article{arxiv.1909.00562,
title = {Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation},
author = {Junya Ono and Masao Utiyama and Eiichiro Sumita},
journal= {arXiv preprint arXiv:1909.00562},
year = {2019}
}
备注
9 pages, 4 figures, 5 tables