去中心化马尔可夫 SGD 的稳定性与泛化
机器学习
2026-05-05 v1
摘要
随机梯度方法是大规模学习的核心，但其泛化理论通常依赖独立抽样假设。在许多实际应用中，数据由马尔可夫链生成且学习以去中心化方式进行，这带来了显著的分析挑战。本文探讨了在马尔可夫链抽样下去中心化随机梯度下降 (SGD) 和随机梯度下降 ascent (SGDA) 的稳定性和泛化。利用基于稳定性的框架，我们描述了马尔可夫依赖性和去中心化通信如何联合影响泛化行为。我们的分析捕捉了网络拓扑、马尔可夫链混合特性以及原语-双语动态的效应。我们为两种算法建立了非渐近泛化界，扩展了现有关于马尔可夫随机梯度方法的结果至去中心化和 minimax 设置。
引用
@article{arxiv.2605.01701,
title = {Stability and Generalization for Decentralized Markov SGD},
author = {Jiahuan Wang and Ziqing Wen and Ping Luo and Dongsheng Li and Tao Sun},
journal= {arXiv preprint arXiv:2605.01701},
year = {2026}
}
备注
To appear in IJCAI 2026