面向视觉语言模型对抗鲁棒性的闭环双向提示
计算机视觉与模式识别
2026-05-26 v1
摘要
视觉语言模型在下游任务中表现良好，但对容易破坏跨模态语义对齐的对抗扰动高度脆弱。现有防御方法大多单向或结构化，无法利用双向跨模态互补性和实例级自适应保护。为克服单向和静态防御在对抗环境中的局限性，我们提出闭环双向提示方法，通过冻结编码器上的动态反馈环实现鲁棒适应，将其建模为跨模态一致性恢复问题。引入语义锚点作为稳定的先验，以约束循环更新并缓解因扰动导致的特征腐蚀。通过锚点引导的自举过程，文本语义对视觉表征进行去噪，而精炼后的视觉特征则启用实例自适应提示更新，形成修正且稳健的共识。广泛的评估在11个数据集上验证了最新的鲁棒性和强大的从基座到新领域的泛化能力，同时在计算成本与精度之间保持良好的权衡。
引用
@article{arxiv.2605.25922,
title = {Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models},
author = {Xiao Liu and Jiaxiang Liu and Boci Peng and Boren Hu and Yusong Wang and Xiwen Chen and Prayag Tiwari and Liming Zhang and Mingkun Xu},
journal= {arXiv preprint arXiv:2605.25922},
year = {2026}
}
备注
24 pages, 8 figures