在稳定性边缘：如何调整超参数以在神经网络异步训练中保持极小值选择

背景：近期进展使得利用大批量与数据并行显著加速神经网络训练成为可能。以发生延迟的异步方式进行训练可进一步提升可扩展性。然而，异步训练存在缺陷，主要是在算法收敛后泛化性能下降。这一差距仍未被充分理解，因为迄今为止的理论分析主要关注异步方法的收敛速率。贡献：我们从动力稳定性的视角考察异步训练。我们发现延迟程度与学习率相互作用，改变了异步随机梯度下降算法可访问的极小值集合。我们推导了在保持可访问集合不变的前提下如何调整学习率的闭式规则。具体而言，对于高延迟值，我们发现学习率应保持与延迟成反比。随后我们将分析扩展至包含动量，发现动量应当关闭或修改以改善训练稳定性。我们提供了实证实验以验证理论发现。