FedSKC：基于结构知识协作的非IID数据联邦学习
机器学习
2025-05-27 v1
摘要
随着边缘计算的发展，联邦学习（FL）在隐私保护的协作学习范式中显示出巨大的潜力。然而，FL的一个主要挑战是数据异构性问题，即指多个客户之间标签偏好不均，严重影响收敛和模型性能。大多数先前的FL方法试图在本地或全局层面解决数据异构性问题，忽略了每个客户中包含的类间结构信息。在本文中，我们首先研究数据异构性如何影响模型的发散，并将其分解为局部、全局和抽样漂移子问题。为探索利用客户内部类间结构知识处理这些漂移的潜力，我们因此提出了基于结构知识协作的联邦学习（FedSKC）。FedSKC的关键思想是从客户数据分布中提取和传输域偏好，提供多样化的类相关知识和公平的收敛信号。FedSKC包含三个组件：i）局部对比学习，防止权重因本地训练而发生偏移；ii）全局偏差聚合，解决服务器与客户之间的参数偏差；iii）全局周期审查，纠正服务器随机选择设备引入的抽样漂移。我们在非凸目标下对FedSKC进行了理论分析，并通过大量实验证明了其优越性。
引用
@article{arxiv.2505.18981,
title = {FedSKC: Federated Learning with Non-IID Data via Structural Knowledge Collaboration},
author = {Huan Wang and Haoran Li and Huaming Chen and Jun Yan and Lijuan Wang and Jiahua Shi and Shiping Chen and Jun Shen},
journal= {arXiv preprint arXiv:2505.18981},
year = {2025}
}
备注
11 pages, International Conference on Web Services (ICWS) 2025