基于多网格求解器的 GRU 网络长序列并行训练
计算机视觉与模式识别
2022-03-10 v1 分布式、并行与集群计算
机器学习
摘要
门控循环单元（GRU）网络的并行化是一项具有挑战性的任务，因为 GRU 的训练过程本质上是序列性的。先前并行化 GRU 的努力主要集中于数据与模型并行训练算法等常规并行策略。然而，当给定序列非常长时，现有方法在训练时间上仍不可避免地受限。本文提出一种基于时间多网格规约（MGRIT）求解器的 GRU 新颖并行训练方案（称为时间并行）。MGRIT 将序列划分为多个较短子序列，并在不同处理器上并行训练这些子序列。实现加速的关键在于对隐藏状态进行分层校正，以加速梯度下降前向与反向传播阶段的端到端通信。在 HMDB51 数据集（每个视频为一图像序列）上的实验结果表明，该新并行训练方案相较串行方法实现了最高 6.5 的加速。由于我们的新并行策略效率与序列长度相关，并行 GRU 算法随序列长度增加可获得显著性能提升。
引用
@article{arxiv.2203.04738,
title = {Parallel Training of GRU Networks with a Multi-Grid Solver for Long Sequences},
author = {Gordon Euhyun Moon and Eric C. Cyr},
journal= {arXiv preprint arXiv:2203.04738},
year = {2022}
}
备注
Accepted at ICLR 2022