HyperFed：面向联邦学习非IID数据的双曲原型探索与一致聚合
机器学习
2023-07-28 v1 人工智能
摘要
联邦学习（FL）以去中心化方式协同建模用户数据。然而在现实世界中，客户端间非独立同分布数据（non-IID）因三方面问题阻碍 FL 性能，即（1）类统计偏移，（2）层次信息利用不足，以及（3）客户端聚合不一致。为解决上述问题，我们提出 HyperFed，其包含三个主要模块：双曲原型 Tammes 初始化（HPTI）、双曲原型学习（HPL）与一致聚合（CA）。首先，服务器端的 HPTI 构建均匀分布且固定的类原型，并与客户端共享以匹配类统计，进一步引导本地客户端的一致特征表示。其次，各客户端的 HPL 在共享类原型的监督下于双曲模型空间中捕获本地数据的层次信息。此外，服务器端的 CA 缓解客户端到服务器的不一致偏差影响。在四个数据集上的大量研究证明 HyperFed 在非 IID 设定下有效提升 FL 性能。
引用
@article{arxiv.2307.14384,
title = {HyperFed: Hyperbolic Prototypes Exploration with Consistent Aggregation for Non-IID Data in Federated Learning},
author = {Xinting Liao and Weiming Liu and Chaochao Chen and Pengyang Zhou and Huabin Zhu and Yanchao Tan and Jun Wang and Yue Qi},
journal= {arXiv preprint arXiv:2307.14384},
year = {2023}
}
备注
IJCAI 2023