局部步长在局部 SGD 中的作用

我们考虑分布式随机优化问题，其中 $n$ 个智能体希望最小化由智能体局部函数之和给出的全局函数，并关注当智能体局部函数定义于非独立同分布数据集上的异构设置。我们研究局部 SGD 方法，其中智能体执行若干局部随机梯度步并偶尔与中心节点通信以改进其局部优化任务。我们分析局部步长对局部 SGD 收敛速率与通信复杂度的影响。特别地，我们不假设所有通信轮次中局部步长数固定，而是允许第 $i$ 次通信轮期间的局部步长数 $H_i$ 为不同且任意的数。我们的主要贡献是在强凸、凸和非凸局部函数各种设置下，将局部 SGD 的收敛速率刻画为 $\{H_i\}_{i=1}^R$ 的函数，其中 $R$ 为通信轮次总数。基于此刻画，我们给出序列 $\{H_i\}_{i=1}^R$ 的充分条件，使局部 SGD 能相对于工人数量实现线性加速。此外，我们提出一种具有递增局部步长的新通信策略，优于强凸局部函数的现有通信策略。另一方面，对于凸和非凸局部函数，我们认为固定局部步长是局部 SGD 的最佳通信策略，并恢复最先进的收敛速率结果。最后，我们通过大量数值实验佐证了我们的理论结果。