PerAda：具有泛化保证的参数高效联邦学习个性化方法
机器学习
2024-07-24 v3 人工智能
摘要
个性化联邦学习（pFL）已成为解决联邦学习中客户端间数据异构性的一种有前景的方案。然而，现有 pFL 方法要么（1）引入较高的通信与计算成本，要么（2）对局部数据过拟合，而后者范围可能有限，且易受具有自然偏移的演化测试样本影响。本文中，我们提出 PerAda，一种参数高效的 pFL 框架，可降低通信与计算成本，并展现出优越的泛化性能，尤其在测试时分布偏移下。PerAda 通过利用预训练模型的力量并仅更新和通信来自适配器的少量额外参数来降低成本。PerAda 具有良好的泛化性，因为它用全局适配器正则化每个客户端的个性化适配器，而全局适配器使用知识蒸馏从所有客户端聚合泛化信息。理论上，我们提供泛化界以解释 PerAda 为何改善泛化，并证明其在非凸设定下收敛至驻点。在实证上，PerAda 在不同自然与医学领域数据集上展现出有竞争力的个性化性能（CheXpert 上 +4.85%）并实现更好的分布外泛化（CIFAR-10-C 上 +5.23%），优于基线方法，而每模型仅基于适配器更新 12.6% 的参数。我们的代码见 https://github.com/NVlabs/PerAda。
引用
@article{arxiv.2302.06637,
title = {PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees},
author = {Chulin Xie and De-An Huang and Wenda Chu and Daguang Xu and Chaowei Xiao and Bo Li and Anima Anandkumar},
journal= {arXiv preprint arXiv:2302.06637},
year = {2024}
}
备注
CVPR 2024