一种用于有限和的加速去中心化随机近端算法

现代大规模有限和优化依赖于两个关键方面：分布与随机更新。对于光滑且强凸问题，现有的去中心化算法在单机上运行时比现代加速方差缩减随机算法更慢，因此效率不高。集中式算法速度快，但其扩展性受限于导致通信瓶颈的全局聚合步骤。在这项工作中，我们提出了一种高效的用于有限和的加速去中心化随机算法，命名为 ADFS，它使用局部随机近端更新和节点间的随机成对通信。在 $n$ 台机器上，ADFS 从 $nm$ 个样本中学习所需的时间，与最优算法在单台机器上从 $m$ 个样本中学习所需的时间相同。这种扩展性保持到达到一个临界网络规模为止，该规模取决于通信延迟、样本数 $m$ 以及网络拓扑。我们基于一种新颖的增广图方法并结合对同步时间的精确评估以及将加速近端坐标梯度算法推广到任意采样，提供了理论分析。我们通过实验说明了 ADFS 相对于最先进的去中心化方法的改进。