FAA-CLIP：CLIP 的联邦对抗自适应
机器学习
2025-03-11 v1 人工智能
摘要
尽管诸如对比语言图像预训练（CLIP）等视觉语言模型（VLMs）表现出卓越的性能，但在联邦学习（FL）系统中，这些模型的庞大参数量成为了其应用的重大障碍，因为本地客户端模型的参数需要传输至全局服务器进行聚合。联邦学习中的另一项挑战是来自不同客户端的数据异构性，这会影响解决方案的泛化性能。此外，自然图像预训练的 VLMs 在医疗数据集上表现出较差的泛化能力，这表明存在领域鸿沟。为了解决这些问题，我们提出了一种用于 CLIP 联邦对抗自适应（FAA）的新方法。我们的方法命名为 FAA-CLIP，它使用轻量级特征自适应模块（FAM）进行聚合，以处理 CLIP 巨大的通信开销，在有效使该 VLM 适应每个客户端数据的同时，大幅减少了需要传输的参数量。通过保持 CLIP 冻结并仅更新 FAM 参数，我们的方法在计算上也十分高效。与现有方法不同，我们的 FAA-CLIP 方法通过领域自适应（DA）模块直接解决跨客户端的领域偏移问题。该模块采用领域分类器来预测给定样本是来自本地客户端还是全局服务器，从而使模型能够学习领域不变的表示。在包含自然图像和医学图像的六个不同数据集上的大量实验表明，与近期的联邦学习方法相比，FAA-CLIP 在自然和医学数据集上均能良好泛化。我们的代码可在 https://github.com/AIPMLab/FAA-CLIP 获取。
引用
@article{arxiv.2503.05776,
title = {FAA-CLIP: Federated Adversarial Adaptation of CLIP},
author = {Yihang Wu and Ahmad Chaddad and Christian Desrosiers and Tareef Daqqaq and Reem Kateb},
journal= {arXiv preprint arXiv:2503.05776},
year = {2025}
}
备注
Accepted in IEEE Internet of Things Journal