基于深度生成先验近似的非分解模型联邦学习
机器学习
2024-05-28 v1 机器学习
统计计算
统计方法学
摘要
联邦学习允许在去中心化客户端之间进行协作模型训练，同时通过避免数据共享来保留隐私。然而，当前的联邦学习方法假设客户端模型之间存在条件独立性，这限制了使用能捕获依赖关系的先验（如高斯过程）的应用。我们引入了通过深度生成模型近似实现的结构化独立性 (SIGMA) 先验，使联邦学习适用于跨客户端的非分解模型，拓展了其在空间统计、流行病学、环境科学等领域的适用性。在这些领域中，正确建模依赖关系对于准确预测和决策至关重要。SIGMA 先验是一个预训练的深度生成模型，近似于所需的先验，并在潜在变量中诱导指定的条件独立结构，创建适用于联邦学习环境的近似模型。我们在合成数据上展示了 SIGMA 先验的有效性，并在一个实际案例中展示了其在空间数据上的应用，采用条件自回归先验来建模澳大利亚范围内的空间依赖性。我们的工作使以建模依赖数据为关键的新型联邦学习应用成为可能。
引用
@article{arxiv.2405.16055,
title = {Federated Learning for Non-factorizable Models using Deep Generative Prior Approximations},
author = {Conor Hassan and Joshua J Bon and Elizaveta Semenova and Antonietta Mira and Kerrie Mengersen},
journal= {arXiv preprint arXiv:2405.16055},
year = {2024}
}
备注
25 pages, 7 figures, 2 tables