应对联邦学习中的资源受限与数据异构性：双权重稀疏打包方法
机器学习
2026-01-06 v1 分布式、并行与集群计算
摘要
联邦学习吸引了广泛关注，但跨边缘客户端的数据异构性仍是关键挑战，常会降低模型性能。现有方法通过拆分模型和知识蒸馏来增强模型与数据异构性的兼容性，但忽略了客户端通信带宽和计算能力的不足，无法在解决数据异构性和适应有限客户端资源之间取得有效平衡。为解决这一局限性，我们提出了一种基于余弦稀疏化参数打包和双权重聚合的个性化联邦学习方法（FedCSPACK），有效利用有限的客户端资源，并减少数据异构性对模型性能的影响。在 FedCSPACK 中，客户端根据余弦相似度对模型参数进行打包，并选择最有贡献的参数包进行共享，从而有效降低了带宽需求。客户端随后生成基于所共享参数包的掩码矩阵，以提高稀疏更新在服务器端的对齐与聚合效率。此外，嵌入在掩码中的方向权重和分布距离权重实现了加权引导聚合机制，增强了全局模型的鲁棒性和泛化性能。广泛的实验在四个数据集上使用十种最先进的方法表明，FedCSPACK在保持高模型准确率的同时，有效提高了通信和计算效率。
引用
@article{arxiv.2601.01840,
title = {Tackling Resource-Constrained and Data-Heterogeneity in Federated Learning with Double-Weight Sparse Pack},
author = {Qiantao Yang and Liquan Chen and Mingfu Xue and Songze Li},
journal= {arXiv preprint arXiv:2601.01840},
year = {2026}
}
备注
Accepted in AAAI 2026