FOCoOp：面向视觉语言模型的联邦提示学习中的 OOD 鲁棒性提升
计算机视觉与模式识别
2025-07-31 v3
摘要
面向视觉语言模型的联邦提示学习(FPL)是一种强大的分布式客户端协同适应模型的方法，同时保持数据隐私。然而，现有的 FPL 方法在性能和鲁棒性之间存在权衡，尤其是在分布外(OOD)偏移的情况下，这限制了其在现实场景中的可靠性。不同客户端之间固有的分布内(ID)数据异构性使得维持这种权衡更加困难。为填补这一空白，我们引入了一个 Federated OOD-aware Context Optimization(FOCoOp)框架，该框架使用 ID 全局提示、局部提示和 OOD 提示来捕获不同客户端中各种分布。具体而言，FOCoOp 使用三组提示创建类级和分布级分离，这些分离能够通过双层分布鲁棒优化适应 OOD 偏移。此外，FOCoOp 通过半不平衡最优传输改善了不同客户端之间的判别一致性，即校准全局提示、看似 OOD 提示和 OOD 提示。广泛的真实数据集实验表明，FOCoOp 有效捕获了分布式异构分布，并增强了不同 OOD 偏移的鲁棒性。该项目已在 GitHub 上公开。
引用
@article{arxiv.2506.16218,
title = {FOCoOp: Enhancing Out-of-Distribution Robustness in Federated Prompt Learning for Vision-Language Models},
author = {Xinting Liao and Weiming Liu and Jiaming Qian and Pengyang Zhou and Jiahe Xu and Wenjie Wang and Chaochao Chen and Xiaolin Zheng and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2506.16218},
year = {2025}
}
备注
Accepted by ICML25