通过损失景观分析与客户端一致性评分进行联邦模型剪枝
机器学习
2026-05-13 v5 人工智能
分布式、并行与集群计算
新兴技术
摘要
在资源受限的设备上部署联邦学习（FL）受限于大模型训练成本高和由异构（non-IID）客户端数据引起的不稳定性。常规剪枝方法常将数据异构性视为需要缓解的问题。本文引入了范式转变：我们将客户端多样性重新框定为需要利用的特征。我们提出 AutoFLIP 框架，该框架不是从训练开始，而是先进行一次联邦损失探索。在此阶段，客户端协作构建损失景观的地图，使用他们多样化的数据揭示问题的本质结构。这种共享智慧然后指导一种自适应剪枝策略，该策略通过客户端一致性在训练期间动态细化。这种方法使 AutoFLIP 能够一开始就从 outset 中识别出鲁棒且高效的子网络。我们的广泛实验显示，AutoFLIP 在解决 non-IID 设置时平均降低计算开销 52%，通信成本降低超过 65%，同时同时实现了在挑战性 non-IID 设置下的 SOTA 准确率。
引用
@article{arxiv.2405.10271,
title = {Pruning Federated Models through Loss Landscape Analysis and Client Agreement Scoring},
author = {Christian Internò and Elena Raponi and Markus Olhofer and Ali Raza and Thomas Bäck and Niki van Stein and Yaochu Jin and Barbara Hammer},
journal= {arXiv preprint arXiv:2405.10271},
year = {2026}
}