面向部分客户端参与的联邦学习锚采样方法

与全部客户端参与相比，部分客户端参与是联邦学习中更实际的场景，但可能放大联邦学习中的某些挑战，例如数据异构性。部分客户端参与中缺失非活跃客户端的更新，使得模型聚合更可能偏离基于全部客户端参与的聚合。在单个客户端上使用大批次训练被提出用于一般性地解决数据异构性，但其在部分客户端参与下的有效性尚不清楚。受这些挑战的启发，我们提出开发一种新颖的联邦学习框架，称为 FedAMD，用于部分客户端参与。其核心思想是锚采样，将部分参与者划分为锚组与矿工组。锚组中每个客户端使用大批次计算梯度，瞄准本地靶心。在靶心引导下，矿工组客户端利用小批次执行多次近最优本地更新并更新全局模型。通过整合两组结果，FedAMD 能够加速训练过程并提升模型性能。以 $\epsilon$-近似衡量并与最先进方法相比，FedAMD 在非凸目标下通过减少多达 $O(1/\epsilon)$ 的通信轮数实现收敛。在真实世界数据集上的实证研实验证了 FedAMD 的有效性，并展示了所提算法的优越性：不仅显著节省计算与通信成本，且测试精度显著提升。