R-TPT: 通过测试时提示调谐提高视觉语言模型对抗鲁棒性
机器学习
2025-08-28 v2 密码学与安全
计算机视觉与模式识别
摘要
视觉语言模型（VLMs），如CLIP，因其在下游任务上的广泛应用而备受推崇，但由于其内在的脆弱性以及从有限集合的开源模型中进行选择的常见做法，VLMs比传统视觉模型更容易受到对抗性攻击。现有的防御技术通常依赖于训练期间的对抗微调，这需要标注数据且缺乏对下游任务的灵活性。为此，本文提出了鲁棒测试时提示调谱（R-TPT），以在推理阶段减轻对抗性攻击的影响。我们首先通过消除在对抗条件下引入冲突的项，保留仅的点熵最小化，来重新构建经典的边际熵目标。进一步引入一种即插即用的基于可靠性的加权集成策略，该策略汇聚来自可靠增强视图的信息，以强化防御。R-TPT无需标注训练数据即可提升对抗攻击的防御，同时为推理任务提供了高度的灵活性。广泛的基准实验和各种攻击方式的验证表明，R-TPT的有效性得到了充分证明。代码已公开于 https://github.com/TomSheng21/R-TPT。
引用
@article{arxiv.2504.11195,
title = {R-TPT: Improving Adversarial Robustness of Vision-Language Models through Test-Time Prompt Tuning},
author = {Lijun Sheng and Jian Liang and Zilei Wang and Ran He},
journal= {arXiv preprint arXiv:2504.11195},
year = {2025}
}
备注
CVPR 2025 (Corrected the results on the Aircraft dataset)