MoAPT：面向视觉语言模型的对抗提示调优混合方法
计算机视觉与模式识别
2025-12-19 v2
摘要
大型预训练视觉语言模型（VLMs）展现出优秀的泛化能力，但对对抗样本仍然高度敏感，可能带来潜在的安全风险。为提升 VLMs 对对抗样本的鲁棒性，对抗提示调优方法被提出，通过在不改变模型参数的情况下对齐文本特征与对抗图像特征。然而，面对各类对抗攻击时，单一可学习文本提示的泛化能力不足以与所有对抗图像特征良好对齐，最终导致过拟合。为应对上述挑战，我们实证发现增加学习提示的数量比简单扩展单一提示的长度更能提升鲁棒性。基于此观察，我们提出了一种对抗调优方法——对抗提示调优混合（MoAPT），以增强 VLMs 对各类对抗攻击的泛化能力。MoAPT 旨在学习混合文本提示以获取更具鲁棒性的文本特征。为进一步增强适应性，我们提出了一种基于对抗图像的条件权重路由器，用于预测多个学习提示的混合权重，有助于获取与不同对抗图像特征对齐的样本特定混合文本特征。在不同设置下对 11 个数据集的广泛实验表明，我们的方法在对抗鲁棒性方面优于现有最先进方法。
引用
@article{arxiv.2505.17509,
title = {MoAPT: Mixture of Adversarial Prompt Tuning for Vision-Language Models},
author = {Shiji Zhao and Qihui Zhu and Shukun Xiong and Shouwei Ruan and Maoxun Yuan and Jialing Tao and Jiexi Liu and Ranjie Duan and Jie Zhang and Jie Zhang and Xingxing Wei},
journal= {arXiv preprint arXiv:2505.17509},
year = {2025}
}