面向非独立同分布数据的跨孤岛原型校准联邦学习
机器学习
2023-08-08 v1 计算机视觉与模式识别
摘要
联邦学习旨在以保护隐私的方式利用来自不同客户端的本地模型，在服务器端学习一个泛化到所有客户端的全局模型。现有方案侧重于正则化客户端间的目标函数或改进聚合机制以提升模型泛化能力。然而，其性能通常受限于数据集偏差，如异构数据分布和类别缺失。为解决此问题，本文提出一种跨孤岛原型校准方法(FedCSPC)，其利用来自客户端的额外原型信息在服务器端学习统一特征空间。具体而言，FedCSPC首先采用数据原型建模(DPM)模块通过聚类学习数据模式以辅助校准。随后，跨孤岛原型校准(CSPC)模块发展了一种增强对比学习方法以提高校准的鲁棒性，能有效将跨源特征投影到一致空间的同时保持清晰决策边界。此外，CSPC模块易于实现且具即插即用特性，更显突出。我们在四个数据集上进行了性能比较、消融研究、深入分析与案例研究实验，结果验证了FedCSPC能够在校准模型指导下学习同类的跨数据源一致特征，性能优于SOTA方法。源代码发布于 https://github.com/qizhuang-qz/FedCSPC。
引用
@article{arxiv.2308.03457,
title = {Cross-Silo Prototypical Calibration for Federated Learning with Non-IID Data},
author = {Zhuang Qi and Lei Meng and Zitan Chen and Han Hu and Hui Lin and Xiangxu Meng},
journal= {arXiv preprint arXiv:2308.03457},
year = {2023}
}