基于低秩分解的通信高效个性化联邦图学习
机器学习
2024-12-19 v1 人工智能
分布式、并行与集群计算
摘要
联邦图学习（FGL）因使异构客户端能够在本地处理其私有图数据同时与中央服务器交互，从而维护隐私而受到广泛关注。然而，客户端上的图数据通常是非独立同分布的，这使得单一模型难以在所有客户端上表现良好。FGL的另一个主要瓶颈是通信成本高。为了解决这些挑战，我们提出了一种通信高效的个性化联邦图学习算法CEFGL。我们的方法将模型参数分解为低秩通用模型和稀疏私有模型。我们采用双通道编码器以个性化方式学习稀疏的局部知识，并以共享方式学习低秩的全局知识。此外，我们在通信阶段之间执行多次局部随机梯度下降迭代，并将高效压缩技术集成到算法中。CEFGL的优势在于能够更精确地捕捉共性和个体知识。通过利用低秩和稀疏参数以及压缩技术，CEFGL显著降低了通信复杂度。大量实验表明，我们的方法在十六个数据集上的各种异构环境中实现了最优的分类准确率。具体来说，与最先进的方法FedStar相比，所提出的方法（以GIN为基础模型）在跨数据集设置CHEM上准确率提高了5.64%，通信比特数减少了18.58倍，通信时间减少了1.65倍。
引用
@article{arxiv.2412.13442,
title = {Communication-Efficient Personalized Federal Graph Learning via Low-Rank Decomposition},
author = {Ruyue Liu and Rong Yin and Xiangzhen Bo and Xiaoshuai Hao and Xingrui Zhou and Yong Liu and Can Ma and Weiping Wang},
journal= {arXiv preprint arXiv:2412.13442},
year = {2024}
}