基于黑箱视觉提示的基础模型鲁棒适应
计算机视觉与模式识别
2026-04-07 v4 机器学习
摘要
随着大规模预训练模型的涌现，参数高效迁移学习 (PETL) 已引起广泛关注。虽然前景光明，但这些方法通常依赖两个乐观假设：1) 完全访问 PTM 的参数，以及2) 足够的内存容量来缓存所有中间激活以进行梯度计算。然而，在大多数实际应用中，PTM 作为黑箱 API 或专有软件使用，无法获得其参数的完全访问权限。此外，满足现代 PTM 的大内存需求也十分困难。本文提出了黑箱视觉提示 (BlackVIP) 方法，通过不了解模型架构或参数的情况高效适配 PTM。BlackVIP 包含两个组件：1) 协调器和2) 伴随梯度校正的随机近似梯度 (SPSA-GC)。协调器设计输入依赖的视觉提示，使目标 PTM 在野生环境中进行适应。SPSA-GC 高效估计 PTM 的梯度以更新协调器。此外，我们提出了一种变体 BlackVIP-SE，可显著降低运行时间和计算成本。在 19 个数据集上的广泛实验表明，BlackVIP 能够以最小内存需求适应 diverse domains and tasks。我们进一步通过呈现视觉提示方法与随机平滑认证鲁棒性之间的联系，提供了对其泛化性的理论分析，并提供了经验支持表明其鲁棒性得到提升。
引用
@article{arxiv.2407.17491,
title = {Robust Adaptation of Foundation Models with Black-Box Visual Prompting},
author = {Changdae Oh and Gyeongdeok Seo and Geunyoung Jung and Zhi-Qi Cheng and Hosik Choi and Jiyoung Jung and Kyungwoo Song},
journal= {arXiv preprint arXiv:2407.17491},
year = {2026}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 2026