半去中心化学习的统一收敛分析：样本子集到样本子集 vs 样本子集到全体通信
机器学习
2025-11-18 v2 人工智能
分布式、并行与集群计算
摘要
在半去中心化联邦学习中，设备主要依赖设备间通信，但偶尔与中心服务器交互。周期性地，部分设备子集上传其本地模型，服务器计算聚合模型。服务器可选择 (i)仅将该聚合模型分享给样本子集客户端（样本子集到样本子集，S2S），或 (ii)广播给所有客户端（样本子集到全体，S2A）。尽管其实际意义显著，但对这两种策略的严格理论与实证比较仍缺乏。我们在统一的收敛框架下分析S2S与S2A，考虑关键系统参数：抽样率、服务器聚合频率以及网络连通性。我们的分析结果和实验结果揭示了在不同数据异质性程度下，一种策略优于另一种策略的 distinct regime。这些洞察导致针对实际半去中心化联邦学习部署的具体设计指南。
引用
@article{arxiv.2511.11560,
title = {A Unified Convergence Analysis for Semi-Decentralized Learning: Sampled-to-Sampled vs. Sampled-to-All Communication},
author = {Angelo Rodio and Giovanni Neglia and Zheng Chen and Erik G. Larsson},
journal= {arXiv preprint arXiv:2511.11560},
year = {2025}
}
备注
Accepted as a conference paper at AAAI 2026 (oral presentation). This is the extended version including the appendix