FedSI：基于子网络推断的联邦学习高效不确定性量化
机器学习
2025-05-08 v1 人工智能
摘要
虽然基于深度神经网络 (DNN) 的个性化联邦学习 (PFL) 能有效应对数据异构性问题并取得优异性能，但现有联邦学习方法在系统性不确定性量化方面效率不高。贝叶斯 DNNs 基于 PFL 通常面临模型结构过于简化或计算与内存成本过高的质疑。本文提出 FedSI，即一种新型贝叶斯 DNNs 子网络推断 PFL 框架。FedSI 通过贝叶斯方法实现简单且可扩展的设计，有效融合系统性不确定性。它实现客户端专属子网络推断机制，筛选出方差较大的网络参数通过后验分布进行推断，其余参数保持确定性。FedSI 在保持系统性不确定性的前提下，实现快速且可扩展的推理。在三个不同基准数据集上的大量实验表明，FedSI 在异构性联邦学习场景中超越现有贝叶斯与非贝叶斯 FL 方法。
引用
@article{arxiv.2404.15657,
title = {FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification},
author = {Hui Chen and Hengyu Liu and Zhangkai Wu and Xuhui Fan and Longbing Cao},
journal= {arXiv preprint arXiv:2404.15657},
year = {2025}
}