异构与长尾数据上 CLIP 引导的联邦学习
计算机视觉与模式识别
2023-12-15 v1
摘要
联邦学习（FL）提供了一种去中心化的机器学习范式，服务器与一组客户端协作学习全局模型，而无需访问客户端的数据。用户异构性是 FL 面临的重大挑战，与类别分布不平衡相结合进一步增加了 FL 的难度。大型视觉-语言模型取得了巨大进展，如对比语言-图像预训练（CLIP），为图像分类和目标识别开辟了新途径。受 CLIP 在小样本和零样本学习上成功的启发，我们利用 CLIP 在其视觉-语言监督下优化服务器与客户端模型间的联邦学习。凭借强大的跨模态表示和丰富的开放词汇先验知识，这有望缓解用户异构性和类别分布不平衡问题。在本文中，我们提出了异构与长尾数据上 CLIP 引导的 FL（CLIP2FL）方法。在 CLIP2FL 中，现成 CLIP 模型的知识被迁移到客户端-服务器模型，并在客户端与服务器之间建立起桥梁。具体而言，对于客户端学习，在客户端模型与 CLIP 之间进行知识蒸馏，以提升客户端特征表示能力。对于服务器端学习，为了缓解异构性和类别分布不平衡，我们生成联邦特征以重新训练服务器模型。引入了在 CLIP 文本编码器监督下的原型对比学习，根据客户端梯度生成联邦特征，并将其用于重新训练一个平衡的服务器分类器。
引用
@article{arxiv.2312.08648,
title = {CLIP-guided Federated Learning on Heterogeneous and Long-Tailed Data},
author = {Jiangming Shi and Shanshan Zheng and Xiangbo Yin and Yang Lu and Yuan Xie and Yanyun Qu},
journal= {arXiv preprint arXiv:2312.08648},
year = {2023}
}
备注
This paper has been accepted by AAAI24