利用序列分桶与多GPU数据并行加速循环神经网络训练
机器学习
2017-08-21 v1 神经与进化计算
摘要
本文提出一种高效的循环神经网络训练算法。该方法可提升输入序列长度变化显著的任务的训练速度。所提方法基于按输入序列长度进行的最优批次分桶以及在多个图形处理单元上的数据并行化。针对不同桶数，将无序列分桶的基线训练性能与所提方案进行了比较。以使用LSTM循环神经网络的在线手写识别任务为例，从挂钟时间、轮次数和验证损失值等方面进行了评估。
引用
@article{arxiv.1708.05604,
title = {Accelerating recurrent neural network training using sequence bucketing and multi-GPU data parallelization},
author = {Viacheslav Khomenko and Oleg Shyshkov and Olga Radyvonenko and Kostiantyn Bokhan},
journal= {arXiv preprint arXiv:1708.05604},
year = {2017}
}
备注
4 pages, 5 figures, Comments, 2016 IEEE First International Conference on Data Stream Mining & Processing (DSMP), Lviv, 2016