去中心化随机梯度下降的紧致分析：马尔可夫链视角
机器学习
2026-01-13 v1
摘要
我们提出一种新颖的去中心化随机梯度下降(DSGD)算法常数步长分析方法，将算法迭代过程解释为马尔可夫链。我们证明DSGD收敛于平稳分布，其偏差至零阶可分解为两个组成部分：一个源于去中心化(随图的谱间隙和客户端异质性增长)，另一个源于随机性。令人惊讶的是，局部参数的方差在零阶下与客户端数量成反比，而不受网络拓扑影响，即使客户端迭代结束时未进行平均。基于 our 分析，我们获得了客户端局部迭代的非渐近收敛界，确认DSGD在客户端数量上具有线性加速，网络拓扑仅影响高阶项。
引用
@article{arxiv.2601.07021,
title = {Tight Analysis of Decentralized SGD: A Markov Chain Perspective},
author = {Lucas Versini and Paul Mangold and Aymeric Dieuleveut},
journal= {arXiv preprint arXiv:2601.07021},
year = {2026}
}