探索视觉提示：鲁棒性继承与超越
计算机视觉与模式识别
2025-06-10 v1 人工智能
摘要
视觉提示（VP）作为一种高效的迁移学习方法，已显示出在视觉任务中的潜力。然而，先前的工作仅关注从标准源模型进行的 VP，尚不清楚其在鲁棒源模型的场景下表现如何：鲁棒性能否被继承？VP 在此过程中是否也面临鲁棒性与泛化能力之间的权衡？如果存在这种权衡，是否存在一种专为 VP 设计的策略来缓解此限制？本文首次对这三个问题进行彻底探索，并给出肯定的答案。为缓解 VP 面临的权衡，本文提出了称为 Prompt Boundary Loosening（PBL）的策略。作为一种轻量级、即插即用的策略，PBL 自然与 VP 兼容，有效确保了当源模型为鲁棒模型时，鲁棒性的成功继承，同时显著提升了 VP 在各种下游数据集上的泛化能力。广泛的实验表明，我们的发现具有普遍性，并展示了所提策略的显著优势。
引用
@article{arxiv.2506.06823,
title = {Exploring Visual Prompting: Robustness Inheritance and Beyond},
author = {Qi Li and Liangzhi Li and Zhouqiang Jiang and Bowen Wang and Keke Tang},
journal= {arXiv preprint arXiv:2506.06823},
year = {2025}
}
备注
arXiv admin note: substantial text overlap with arXiv:2311.10992