用于客户端特定联邦个性化的变分高斯混合流形模型
机器学习
2025-09-16 v1
摘要
个性化联邦学习（PFL）在标签偏斜和非平稳性下常常失败，因为单一的全局参数化忽略了客户端特定的几何结构。我们引入了 VGM（变分高斯混合流形），这是一个以几何为中心的 PFL 框架，它 学习客户端特定的参数化 UMAP 嵌入， 用混合关系标记对同类和不同类对的潜在成对距离进行建模，并且 仅交换变分的、不确定性感知的标记统计量。每个客户端在标记权重、均值和方差上维持一个 Dirichlet-Normal-Inverse-Gamma（Dir-NIG）后验；服务器通过共轭矩匹配进行聚合，以形成指导后续轮次的全局先验。我们证明这种聚合最小化了共轭族内来自客户端后验的求和反向 Kullback-Leibler 散度，从而在异构性下产生稳定性。我们进一步引入了一个用于距离到相似度映射的校准项，并报告了通信和计算预算。在八个具有非独立同分布标签分片的视觉数据集上，与强基线相比，VGM 实现了具有竞争力或更优的测试 F1 分数，同时仅通信少量的几何摘要。通过安全聚合和可选的差分隐私噪声增强了隐私，并且我们提供了成员推理压力测试。代码和配置将被发布以确保完全可复现性。
引用
@article{arxiv.2509.10521,
title = {Variational Gaussian Mixture Manifold Models for Client-Specific Federated Personalization},
author = {Sai Puppala and Ismail Hossain and Md Jahangir Alam and Sajedul Talukder},
journal= {arXiv preprint arXiv:2509.10521},
year = {2025}
}