基于非凸成对融合的聚类联邦学习

本研究探讨聚类联邦学习（FL），这是一种面向非独立同分布数据的 FL 形式，其中设备被划分为若干簇，每个簇以局部化模型最优拟合其数据。我们提出一种聚类 FL 框架，将非凸惩罚项引入参数的成对差异中。该框架无需预先知道每簇设备集合与簇数，即可自主估计簇结构。为实现所提框架，我们引入一种称为融合惩罚联邦聚类（FPFC）的新型聚类 FL 方法。基于标准交替方向乘子法（ADMM），FPFC 可在每轮通信中进行部分更新，并允许具有可变工作量的并行计算。这些策略在保障隐私的同时显著降低通信开销，使其适用于 FL。我们还提出一种用于 FL 设定中超参数调优的新预热策略，并探索 FPFC 的异步变体（asyncFPFC）。理论分析给出了 FPFC 在一般损失下的收敛保证，并建立了线性模型与平方损失下的统计收敛速率。大量实验证明了 FPFC 相较于现有方法的优越性，包括鲁棒性与泛化能力。