联邦变分推断：迈向改进的个性化与泛化能力
机器学习
2023-05-29 v2 分布式、并行与集群计算
摘要
传统的联邦学习算法通过利用所有参与客户端的数据来训练单一的全局模型。然而，由于客户端生成分布和预测模型的异质性，这些方法可能无法恰当地逼近预测过程、收敛到最优状态，或泛化到新客户端。我们在无状态跨设备联邦学习设定下研究个性化与泛化问题，假设客户端数据分布与预测模型均存在异质性。我们首先提出一个层次化生成模型，并使用贝叶斯推断对其进行形式化。随后，我们利用变分推断来高效地近似该过程以训练模型。我们将此算法称为联邦变分推断（FedVI）。我们使用 PAC-Bayes 分析为 FedVI 提供泛化界。我们在 FEMNIST 和 CIFAR-100 图像分类任务上评估了我们的模型，并表明 FedVI 在两项任务上均击败了当前最优（SOTA）方法。
引用
@article{arxiv.2305.13672,
title = {Federated Variational Inference: Towards Improved Personalization and Generalization},
author = {Elahe Vedadi and Joshua V. Dillon and Philip Andrew Mansfield and Karan Singhal and Arash Afkanpour and Warren Richard Morningstar},
journal= {arXiv preprint arXiv:2305.13672},
year = {2023}
}
备注
16 pages, 6 figures