HFedCKD：基于无数据知识蒸馏与双向对比的鲁棒异构联邦学习
机器学习
2025-03-11 v1 人工智能
摘要
当前大多数联邦学习框架被建模为静态过程，忽略了学习系统的动态特征。在中央服务器有限的通信预算下，大量参与知识转移的客户端的灵活模型架构需要较低的参与率，活跃客户端的贡献不均，且客户端规模严重阻碍了联邦学习（FL）的性能。我们考虑了一种更通用且实用的联邦场景，提出了一种基于无数据知识蒸馏和双向对比的系统异构联邦方法（HFedCKD）。我们将逆概率加权蒸馏（IPWD）策略应用于无数据知识转移框架。生成器补全了未参与客户端的数据特征。IPWD 实现了对不同数据分布下各客户端预测贡献的动态评估。基于其预测损失的抗偏差加权，有效调整了各客户端的权重分布，从而公平地整合参与客户端的知识。同时，将本地模型拆分为特征提取器和分类器。通过差分对比学习，特征提取器在特征空间上与全局模型对齐，而分类器则保持个性化的决策能力。HFedCKD 有效缓解了无数据知识蒸馏下由低参与率引起的知识偏移，并提升了模型的性能与稳定性。我们在图像和物联网数据集上进行了广泛的实验，以全面评估和验证所提出的 HFedCKD 框架的泛化能力和鲁棒性。
引用
@article{arxiv.2503.06511,
title = {HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast},
author = {Yiting Zheng and Bohan Lin and Jinqian Chen and Jihua Zhu},
journal= {arXiv preprint arXiv:2503.06511},
year = {2025}
}