Momentum Tracking：异构数据上分散式深度学习的动量加速方法

带动量的 SGD 是提升神经网络性能的关键组成部分之一。对于分散式学习，使用动量的直接方法是带动量分布式 SGD（DSGDm）。然而，当数据分布在统计上异构时，DSGDm 的表现不如 DSGD。近来，若干研究解决了该问题并提出了比 DSGDm 对数据异构更鲁棒的带动量方法，尽管它们的收敛速率仍依赖于数据异构性，并在数据分布异构时恶化。在本研究中，我们提出 Momentum Tracking，这是一种带动量的方法，其收敛速率被证明与数据异构性无关。更具体地，我们在目标函数非凸且使用随机梯度的设定下分析了 Momentum Tracking 的收敛速率。进而我们确认，对于任意动量系数 $\beta \in [0, 1)$，该速率均与数据异构性无关。通过实验，我们证明 Momentum Tracking 比现有的带动量分散式学习方法对数据异构更鲁棒，并且在数据分布异构时能持续优于这些现有方法。