聚合是唯一选择吗？基于逐层模型重组的联邦学习
机器学习
2024-07-08 v2
摘要
尽管联邦学习（FL）能够在不泄露客户端原始数据的情况下进行全局模型训练，但由于客户端间数据分布不均，现有基于联邦平均（FedAvg）的方法存在推理性能低下的问题。具体而言，客户端间不同的数据分布导致局部模型优化方向各异。聚合局部模型通常得到低泛化性的全局模型，在大多数客户端上表现更差。针对上述难题，受几何视角下观察——即良好泛化的解位于平坦区域而非尖锐区域——的启发，我们提出一种新颖且启发式的FL范式，称为FedMR（联邦模型重组）。FedMR的目标是引导重组模型向平坦区域训练。与常规基于FedAvg的方法不同，在FedMR中，云服务器通过打乱各局部模型的每一层来重组所收集的局部模型，从而生成多个重组模型供客户端本地训练，而非单一的聚合全局模型。由于平坦区域面积大于尖锐区域，当局部模型位于不同区域时，重组模型有更高概率位于平坦区域。当所有重组模型位于同一平坦区域时，它们朝同一方向优化。我们从理论上分析了模型重组的收敛性。实验结果表明，与最先进的FL方法相比，FedMR能在不暴露各客户端隐私的前提下显著提升推理精度。
引用
@article{arxiv.2305.10730,
title = {Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination},
author = {Ming Hu and Zhihao Yue and Xiaofei Xie and Cheng Chen and Yihao Huang and Xian Wei and Xiang Lian and Yang Liu and Mingsong Chen},
journal= {arXiv preprint arXiv:2305.10730},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2208.07677