融合全局后验信息的概率神经网络联邦学习
机器学习
2022-10-04 v2 人工智能
摘要
在联邦学习中，在本地客户端上训练的模型被提炼为一个全局模型。由于神经网络中出现的置换不变性，在使用神经网络执行联邦学习时，有必要先匹配隐藏神经元。通过贝叶斯非参数框架，概率联邦神经匹配（PFNM）对本地神经网络进行匹配与融合，从而适应变化的全局模型规模以及数据的异质性。在本文中，我们提出一种新方法，通过引入关于神经组件乘积的 Kullback-Leibler（KL）散度来扩展 PFNM，以便在本地和全局两个层面对利用后验信息进行推断。我们还从理论上了表明，该附加部分可以无缝地衔接进匹配与融合过程。通过一系列仿真表明，我们的新方法在单通信轮次和额外通信轮次情形下均优于流行的当前最优（SOTA）联邦学习方法。
引用
@article{arxiv.2012.03178,
title = {Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information},
author = {Peng Xiao and Samuel Cheng},
journal= {arXiv preprint arXiv:2012.03178},
year = {2022}
}
备注
The proposed algorithm lacks sufficient proof