Fed-FSNet：通过模糊合成网络缓解非独立同分布联邦学习
密码学与安全
2023-04-26 v2 计算机视觉与模式识别
机器学习
摘要
联邦学习（FL）近来已成为一种有前景的隐私保护分布式机器学习框架。其旨在通过在边缘设备上本地执行分布式训练、并将本地模型聚合成全局模型，而无需在云服务器中集中共享原始数据，从而协作学习一个共享的全局模型。然而，由于边缘设备间巨大的本地数据异质性（非独立同分布数据），FL 容易得到一个在本地数据集上产生更多偏移梯度的全局模型，从而降低模型性能，甚至在训练中遭遇不收敛。本文中，我们提出一种新颖的 FL 训练框架，称为 Fed-FSNet，使用恰当设计的模糊合成网络（FSNet）从源头缓解非独立同分布 FL。具体而言，我们在云服务器中维护一个与边缘无关的隐藏模型，用以估计全局模型精度较低但方向感知的逆。该隐藏模型随后可仅以全局模型为条件，模糊合成若干模仿的独立同分布数据样本（样本特征），供边缘设备共享，以促使 FL 训练更快且更好地收敛。此外，由于合成过程既不涉及访问本地模型的参数/更新，也不分析单个本地模型输出，我们的框架仍能确保 FL 的隐私性。在多个 FL 基准上的实验结果表明，我们的方法能显著缓解非独立同分布问题，并取得优于其他代表性方法的性能。
引用
@article{arxiv.2208.12044,
title = {Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy Synthesizing Network},
author = {Jingcai Guo and Song Guo and Jie Zhang and Ziming Liu},
journal= {arXiv preprint arXiv:2208.12044},
year = {2023}
}