使用自监督的联邦图表示学习
摘要
联邦图表示学习（Federated Graph Representation Learning, FedGRL）将分布式训练的优势引入图结构数据，同时解决了与数据整理相关的一些隐私和合规问题。然而，当前 FedGRL 设置并未考虑几个有趣的真实世界图数据特征，即标签缺乏和下游任务异构性。在本文中，我们考虑了一种现实且新颖的问题设定，其中跨孤岛客户端可以访问大量未标记数据，但标记数据有限或没有，并且具有多样化的下游类标签域。然后，我们提出了一种基于模型插值的新型 FedGRL 公式化方法，旨在学习一个共享的全局模型，该模型使用自监督目标进行协作优化，并通过本地客户端模型获得下游任务监督。我们使用 BGRL（一种 SOTA 自监督图表示学习方法）提供了我们通用公式的具体实例，并通过真实的跨孤岛数据集实证验证了其有效性：（1）我们改编了 Twitch 游戏网络，该网络自然模拟了跨地理场景，并表明我们的公式化方法可以提供一致且平均 6.1% 的增益（相较于传统监督联邦学习目标），以及平均 1.7% 的增益（相较于单独的客户端特定自监督训练）；（2）我们构建并引入了一个名为 Amazon Co-purchase Networks 的新跨孤岛数据集，该数据集具备所设定问题的两个特征。我们观察到，相较于传统监督联邦学习，平均提升了 11.5%，相较于单独训练的自监督模型，平均提升了 1.9%。两项实验结果都证明了我们提出的公式的有效性。最后，我们新颖的问题设定和数据集贡献为 FedGRL 的研究提供了新途径。
引用
@article{arxiv.2210.15120,
title = {Federated Graph Representation Learning using Self-Supervision},
author = {Susheel Suresh and Danny Godbout and Arko Mukherjee and Mayank Shrivastava and Jennifer Neville and Pan Li},
journal= {arXiv preprint arXiv:2210.15120},
year = {2022}
}
备注
FedGraph'22 workshop (non archival) version. (https://sites.google.com/view/fedgraph2022/accepted-papers)