GRAFFL：基于无梯度联邦学习的贝叶斯生成模型
机器学习
2020-09-01 v1 机器学习
摘要
联邦学习平台正日益普及。其主要益处之一是缓解隐私风险，因为算法学习可在不收集或共享数据的情况下完成。尽管联邦学习（即许多基于随机梯度算法的方案）已展现巨大前景，在保护隐私方面仍存在诸多挑战，尤其在梯度更新与交换过程中。本文提出首个无梯度联邦学习框架 GRAFFL，用于基于近似贝叶斯计算学习贝叶斯生成模型。与基于梯度的传统联邦学习算法不同，我们的框架无需拆解模型（即拆为线性组件）或扰动数据（或加密数据以聚合）来保全隐私。相反，该框架利用各参与机构导出的隐式信息来学习参数的后验分布。该隐式信息源自 SuffiAE 的概要统计量，SuffiAE 是本研究开发的神经网络，用于创建压缩且线性可分的表示，从而防止敏感信息泄露。作为一种充分降维技术，其被证明可提供充分的概要统计量。我们提出基于 GRAFFL 的贝叶斯高斯混合模型，作为该框架的概念验证。使用多个数据集，我们展示了模型在隐私保护与预测性能（即接近理想设定）上的可行性与实用性。训练所得准全局模型可生成蕴含其他机构信息的样本，并增强各机构的数据分析。
引用
@article{arxiv.2008.12925,
title = {GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model},
author = {Seok-Ju Hahn and Junghye Lee},
journal= {arXiv preprint arXiv:2008.12925},
year = {2020}
}