基于元变分 dropout 的联邦学习
机器学习
2025-10-24 v1 人工智能
摘要
联邦学习 (FL) 旨在从远程分布式客户端训练全局推理模型，因其数据隐私优势而日益流行。然而，传统 FL 常因客户端数据有限且非独立同分布 (non-IID) 面临模型过拟合与本地模型发散等实际挑战。为解决此问题，我们提出一种新型贝叶斯元学习方法，称为元变分 dropout (MetaVD)。MetaVD 通过共享超网络学习客户端相关的 dropout 率，实现 FL 在有限非-IID 数据设置下的有效模型个性化。我们还强调元学习的后验适应视角与贝叶斯 FL 的后验聚合视角，via 条件 dropout 后验。我们在多种稀疏且非-IID FL 数据集上进行了广泛实验。MetaVD 在分类准确率和不确定性校准方面表现优异，尤其在面对分布外 (OOD) 客户端时表现更佳。MetaVD 压缩了每个客户端所需的本地模型参数，从而缓解模型过拟合，降低通信成本。代码已公开于 https://github.com/insujeon/MetaVD。
引用
@article{arxiv.2510.20225,
title = {Federated Learning via Meta-Variational Dropout},
author = {Insu Jeon and Minui Hong and Junhyeog Yun and Gunhee Kim},
journal= {arXiv preprint arXiv:2510.20225},
year = {2025}
}
备注
Published in the Proceedings of the Advances in Neural Information Processing Systems (NeurIPS) 2023, Main Conference Track