统一分布式 SGD 中的最差表现智能体是否领头？

分布式学习对于在异构智能体之间保持数据隐私地训练机器学习算法至关重要。我们对统一分布式 SGD(UD-SGD)进行渐近分析，探索了各种通信模式，包括分散 SGD 和联邦学习中的本地 SGD，以及联邦学习环境中日益增加的通信间隔。本研究评估了不同抽样策略（如独立同分布抽样、随机抽样和马尔可夫抽样）对 UD-SGD 收敛速度的影响，通过考虑智能体动力学对中极限定性矩阵的影响。我们的发现不仅支持关于线性加速和渐近网络独立性的现有理论，还从理论和实证角度表明，单个智能体中高效抽样策略如何有助于 UD-SGD 的整体收敛。模拟结果表明，少数使用高效抽样的智能体可实现或超越大多数采用中等改进策略的智能体性能，为超越传统分析中关注最差表现智能体的新见解。