具有收敛保证的解耦并行反向传播

反向传播算法是前馈神经网络训练所不可或缺的。它要求从输出层一路向输入层顺序传播误差梯度。反向传播算法中的反向锁定限制了我们并行更新网络层并充分利用计算资源。近来，已有若干算法被提出以打破反向锁定。然而，当网络较深时，它们的性能严重下降。本文中，我们提出用于深度学习优化的具有收敛保证的解耦并行反向传播算法。首先，我们利用延迟梯度对反向传播算法进行解耦，并表明当我们将网络拆分为多个模块时，反向锁定被消除。接着，我们在两种随机方法中采用解耦并行反向传播，并证明我们的方法对于非凸问题保证收敛到临界点。最后，我们在基准数据集上进行了训练深度卷积神经网络的实验。实验结果不仅证实了我们的理论分析，还表明所提方法能够在不损失精度的情况下实现显著加速。