基于隐表示共享的图联邦学习
机器学习
2022-12-26 v1
摘要
图学习（LoG）在多客户端系统中被广泛使用，当每个客户端本地数据不足、且多个客户端必须共享其原始数据以学习高质量模型时尤为如此。一种场景是在社交网络中向历史数据有限且与其他客户端具有相似偏好的客户端推荐物品。另一方面，由于对客户端数据隐私保护的需求日益增长，联邦学习（FL）已被广泛采用：FL要求模型在多客户端系统中训练，并限制客户端之间共享原始数据。LoG与FL之间潜在的数据共享冲突尚未被充分探索，而如何同时受益于二者是一个有前景的问题。在本工作中，我们首先形式化了图联邦学习（GFL）问题，将多客户端系统中的LoG与FL统一起来，然后提出以共享邻居的隐表示而非原始数据来保护数据隐私作为解决方案。为克服GFL中的梯度偏差问题，我们给出了一种梯度估计方法及其在非凸目标下的收敛性分析。在实验中，我们在图上的分类任务中评估了我们的方法。实验表明我们的理论与实际吻合良好。
引用
@article{arxiv.2212.12158,
title = {Graph Federated Learning with Hidden Representation Sharing},
author = {Shuang Wu and Mingxuan Zhang and Yuantong Li and Carl Yang and Pan Li},
journal= {arXiv preprint arXiv:2212.12158},
year = {2022}
}