FedCLIP：联邦学习中 CLIP 的快速泛化与个性化
机器学习
2023-07-11 v2 人工智能
摘要
联邦学习（FL）近年来已成为一种用于隐私保护计算的新范式。遗憾的是，FL 面临两个阻碍其实际性能的关键挑战：数据分布异质性与大型基础模型带来的高资源成本。具体而言，不同客户端中的非独立同分布（non-IID）数据使现有 FL 算法难以收敛，而高资源成本（包括增加现实场景部署难度的计算与通信成本）亦成障碍。本文中，我们提出一种有效且简单的方法 FedCLIP，以在联邦学习中实现 CLIP 的快速泛化与个性化。具体地，我们为大型模型 CLIP 设计基于注意力的适配器，其余操作仅依赖于适配器。轻量适配器能最大程度利用预训练模型信息，并确保模型适配客户端的特定任务。同时，小规模操作可缓解大型模型带来的计算负担与通信负担。我们在三个具分布偏移的数据集上进行了充分实验。定性与定量结果表明，FedCLIP 显著优于其他基线（在 PACS 上总体提升 9%）并有效降低计算与通信成本（比 FedAVG 快 283 倍）。我们的代码将发布于：https://github.com/microsoft/PersonalizedFL。
引用
@article{arxiv.2302.13485,
title = {FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning},
author = {Wang Lu and Xixu Hu and Jindong Wang and Xing Xie},
journal= {arXiv preprint arXiv:2302.13485},
year = {2023}
}
备注
Accepted by IEEE Data Engineering Bulletin; code is at: https://github.com/microsoft/PersonalizedFL