面向强凸分布式有限和的异步加速近端随机梯度法

本文研究在由 $n$ 个节点组成的网络上最小化强凸函数之和的问题。我们提出去中心化异步算法 ADFS，以处理局部函数本身为含 $m$ 个分量的有限和的情形。当局部函数光滑时，ADFS 线性收敛，并且在单机上执行时与已知最优有限和算法速率匹配。在多台机器上，只要网络直径相对于 $m$ 不太大，ADFS 便能获得 $O (\sqrt{n})$ 或 $O(n)$ 的加速，这取决于主导复杂度项。这相对于最先进的分布式批处理方法也带来了 $\sqrt{m}$ 的加速，即有限和算法预期的加速。在通信次数与网络参数方面，ADFS 与最优分布式批处理算法同样良好地扩展。作为附带贡献，我们给出了使用任意采样的加速近端坐标梯度算法的推广版本，并将其应用于精心选择的对偶问题以推导 ADFS。然而，ADFS 采用原始近端更新，对许多标准机器学习应用只需求解一维问题。最后，ADFS 可表述用于非光滑目标，且具有同样良好的扩展性质。我们通过仿真说明了 ADFS 相对于最先进方法的改进。