用于个性化联邦学习的层超网络
机器学习
2024-06-03 v1
摘要
图超网络（GHN）通过结合图神经网络（GNN）和超网络（HN）构建，利用跨多个领域（如神经架构搜索、分子性质预测和联邦学习）的关系数据。尽管GNN和HN各自成功，但我们表明GHN存在损害其性能的问题，例如过度平滑和异质性。此外，我们无法将GHN直接应用于个性化联邦学习（PFL）场景，因为在这些场景中，先验的客户端关系图可能缺失、私有或不可访问。为了在PFL背景下缓解这些局限性，我们提出了一类新的超网络——层超网络（SHN），它将细胞层理论（cellular sheaf theory）与超网络相结合，以改进PFL的参数共享。我们在多种PFL任务上全面评估了SHN，包括多类分类、交通和天气预报。此外，我们提供了一种在关系图不可用场景下构建客户端关系图的方法。我们表明，在复杂的非独立同分布（non-IID）场景中，SHN始终优于现有的PFL解决方案。虽然基线方法的性能因任务而异，但SHN在准确率上比表现最佳的基线方法提高了高达2.7%，在均方误差上降低了高达5.3%。
引用
@article{arxiv.2405.20882,
title = {Sheaf HyperNetworks for Personalized Federated Learning},
author = {Bao Nguyen and Lorenzo Sani and Xinchi Qiu and Pietro Liò and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2405.20882},
year = {2024}
}
备注
25 pages, 12 figures, 7 tables, pre-print under review