FedSSA：面向高效模型异构个性化联邦学习的基于语义相似度的聚合方法
机器学习
2024-04-22 v3 分布式、并行与集群计算
摘要
联邦学习（FL）是一种保护隐私的协作式机器学习范式。传统FL要求所有数据所有者（即FL客户端）训练相同的本地模型。这种设计并不适合涉及数据和/或系统异构性的场景。模型异构个性化FL（MHPFL）应运而生以应对这一挑战。现有的MHPFL方法通常依赖于与学习任务性质相同的公共数据集，或者产生高昂的计算和通信成本。为了解决这些局限性，我们针对有监督分类任务提出了联邦语义相似度聚合（FedSSA）方法，该方法将每个客户端的模型拆分为异构（结构不同）的特征提取器和同构（结构相同）的分类头。它通过基于语义相似度的分类头参数聚合来实现从本地到全局的知识迁移。此外，通过自适应参数稳定策略实现从全局到本地的知识迁移，该策略将历史本地分类头的已见类参数与每个客户端最新全局分类头的参数相融合。FedSSA不依赖公共数据集，同时仅需传输部分分类头参数以节约成本。理论分析证明了FedSSA的收敛性。大量实验表明，与7个SOTA MHPFL基线相比，FedSSA的准确率最高可提高3.62%，通信效率提高15.54倍，计算效率提高15.52倍。
引用
@article{arxiv.2312.09006,
title = {FedSSA: Semantic Similarity-based Aggregation for Efficient Model-Heterogeneous Personalized Federated Learning},
author = {Liping Yi and Han Yu and Zhuan Shi and Gang Wang and Xiaoguang Liu and Lizhen Cui and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2312.09006},
year = {2024}
}
备注
Accepted by Proceedings of the 33rd International Joint Conference on Artificial Intelligence (IJCAI 2024)