ZooPFL：探索黑盒基础模型用于个性化联邦学习
人工智能
2023-10-10 v1 机器学习
摘要
当个性化联邦学习（FL）遇上大型基础模型时，资源各方面的限制带来了新挑战。除数据、计算和通信成本等典型限制外，对模型的访问也常常受限。本文致力于同时解决资源受限与个性化（即客户端间的分布偏移）这两类挑战。为此，我们提出一种名为 ZOOPFL 的方法，即使用零阶优化进行个性化联邦学习（Zeroth-Order Optimization for Personalized Federated Learning）。ZOOPFL 避免对基础模型的直接干预，而是通过零阶优化学习对其输入进行适配。此外，我们采用简单而有效的线性投影来重映射其预测以实现个性化。为降低计算成本并增强个性化，我们提出输入手术（input surgery），将自动编码器与低维且客户端特定的嵌入相结合。我们为 ZOOPFL 提供了理论支撑以分析其收敛性。在使用流行基础模型的计算机视觉与自然语言处理任务上的大量实证实验证明了其在黑盒基础模型上联邦学习的有效性。
引用
@article{arxiv.2310.05143,
title = {ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning},
author = {Wang Lu and Hao Yu and Jindong Wang and Damien Teney and Haohan Wang and Yiqiang Chen and Qiang Yang and Xing Xie and Xiangyang Ji},
journal= {arXiv preprint arXiv:2310.05143},
year = {2023}
}
备注
Technical report; 26 pages; code will be available at https://github.com/microsoft/PersonalizedFL