FedAH：聚合头部用于个人化联邦学习
机器学习
2024-12-03 v1 人工智能
分布式、并行与集群计算
摘要
最近，联邦学习(FL)因其隐私保护和协作学习能力而受到关注。个人化联邦学习(PFL)是在FL之上构建的，旨在解决统计异构性问题并实现个人化。基于个人化头部的PFL是一种常见且有效的PFL方法，将模型分为特征提取器和头部，其中特征提取器进行协作训练并共享，而头部在本地训练且不共享。然而，保留头部本地化虽然实现了个人化，但会阻止模型从头部学习全局知识，从而影响个人化模型的性能。为解决此问题，我们提出了一种新的PFL方法，称为聚合头部联邦学习(FedAH)，该方法在每个迭代中以聚合头部初始化头部。FedAH 的关键特征是对本地模型头部与全局模型头部进行元素级聚合，以引入全局模型头部的全局信息。为评估 FedAH 的有效性，我们在计算机视觉和自然语言处理领域的五个基准数据集上进行了大量实验。FedAH 在测试准确率方面比十种最先进的FL方法高出2.87%。此外，FedAH 即使在某些客户意外掉线的情况下也能保持其优势。我们的代码已公开：https://github.com/heyuepeng/FedAH
引用
@article{arxiv.2412.01295,
title = {FedAH: Aggregated Head for Personalized Federated Learning},
author = {Pengzhan Zhou and Yuepeng He and Yijun Zhai and Kaixin Gao and Chao Chen and Zhida Qin and Chong Zhang and Songtao Guo},
journal= {arXiv preprint arXiv:2412.01295},
year = {2024}
}
备注
8 pages, 4 figures