去中心化SGD的拓扑感知泛化

本文研究了去中心化随机梯度下降（D-SGD）的算法稳定性与可泛化性。我们证明了在非凸非光滑设定下，D-SGD学习到的共识模型在期望意义下具有$\mathcal{O}{(N^{-1}+m^{-1} +\lambda^2)}$的稳定性，其中$N$为总样本量，$m$为工作节点数，$1+\lambda$为衡量通信拓扑连通性的谱间隙。这些结果进一步给出了一个$\mathcal{O}{(N^{-(1+\alpha)/2}+ m^{-(1+\alpha)/2}+\lambda^{1+\alpha} + \phi_{\mathcal{S}})}$的平均泛化界，即使当$\lambda$接近$1$时该界仍为非平凡的，而现有关于D-SGD投影版本的文献表明此时泛化界是平凡的。我们的理论表明，D-SGD的可泛化性与谱间隙正相关，并能解释为何在初始训练阶段进行共识控制可确保更好的泛化。在CIFAR-10、CIFAR-100和Tiny-ImageNet上使用VGG-11和ResNet-18的实验验证了我们的理论。据我们所知，这是首个关于原始D-SGD拓扑感知泛化的工作。代码见https://github.com/Raiden-Zhu/Generalization-of-DSGD。