面向贝叶斯联邦学习的信息几何重心
机器学习
2025-10-01 v3 信息论
网络与互联网体系结构
math.IT
摘要
联邦学习(FL)是一种广泛使用且有影响力的分布式优化框架，通过对本地训练模型进行平均来实现共识。虽然有效，但这种方法可能无法很好地与贝叶斯推断对齐，因为模型空间具有分布空间的结构。从信息几何的角度，我们将FL聚合重新解释为使用预先指定的散度度量寻找局部后验的重心，最小化客户端之间的平均差异。这一视角提供了一个统一框架，概括了许多现有方法，并对其理论基础提供了清晰见解。然后我们提出BA-BFL，一种在非凸设置中保留联邦平均收敛性质的算法。在非独立同分布场景中，我们与统计聚合技术进行了广泛比较，表明BA-BFL在提供聚合阶段的几何解释的同时，实现了与最先进方法相当的性能。此外，我们将分析扩展到混合贝叶斯深度学习，探讨贝叶斯层对不确定性量化和模型校准的影响。
引用
@article{arxiv.2412.11646,
title = {Information-Geometric Barycenters for Bayesian Federated Learning},
author = {Nour Jamoussi and Giuseppe Serra and Photios A. Stavrou and Marios Kountouris},
journal= {arXiv preprint arXiv:2412.11646},
year = {2025}
}