揭示多次 gossip 步骤的力量：基于稳定性的去中心化训练泛化分析

去中心化训练消除了集中服务器，成为一种具有显著提升训练效率的通信高效方法，但常常表现不如集中训练。多次 gossip 步骤（MGS）作为连接去中心化训练与集中训练的简单而有效的桥梁，显著缩小了实验性能差距。然而，其有效性的理论原因仍不清晰，以及这一差距是否可以通过 MGS 完全消除也是一个开放问题。本文使用稳定性分析推导 MGS 的泛化误差和剩余误差上界，系统性地回答了这两个关键问题。1）优化误差缩减：MGS 以指数速率降低优化误差上界，从而指数紧致泛化误差上界，使算法能够收敛至更好的解。2）与集中化的差距：即使 MGS 趋向无限，去中心化训练相较于集中 mini-batch SGD 仍存在不可忽略的泛化误差差距（去中心化为 $\mathcal{O}(T^{\frac{2c\beta}{2c\beta +2}}/{n m^{\frac{1}{2c\beta +2}}})$，集中化为 $\mathcal{O}(T^{\frac{c\beta}{c\beta +1}}/{n m})$）。此外，我们提供了首个在无梯度有界假设下，对学习率、数据异构性、节点数量、每个节点的样本大小以及通信拓扑等因素对 MGS 泛化产生影响的统一分析，填补了去中心化训练中关键理论空白。最终，CIFAR 数据集上的实验结果支持了我们的理论发现。