仅一个提示词即可提升预训练视觉语言模型的对抗鲁棒性
计算机视觉与模式识别
2024-03-05 v1 人工智能
机器学习
摘要
大型预训练视觉语言模型（VLMs）如 CLIP，尽管具有出色的泛化能力，但对对抗样本极其脆弱。本工作从文本提示的新视角研究 VLMs 的对抗鲁棒性，而不是广泛研究的模型权重（本文冻结）。我们首先表明，对抗攻击和防御的效果对所使用的文本提示敏感。灵感来自这一发现，我们提出了通过学习 VLMs 的鲁棒文本提示来提高其抗对抗攻击能力的方法。提出的方法称为对抗提示调优（Adversarial Prompt Tuning, APT），在有效性方面表现出色，同时在计算和数据效率方面也表现优异。我们在 15 个数据集上进行了大量实验，并在 4 种数据稀疏方案（从 1-shot 到完整训练数据设置）中展示了 APT 优于手工设计提示和其他最先进适应方法的优势。APT 在分布内性能方面表现出色，并且在输入分布迁移和跨数据集方面也表现出色。令人惊讶的是，通过仅添加一个学习词到提示中，APT 在手工设计提示上的准确率和鲁棒性（epsilon=4/255）分别提升约 +13% 和 +8.5%。在我们最有效的设置下，这些提升分别达到 +26.4% 和 +16.7%。代码已公开：https://github.com/TreeLLi/APT。
引用
@article{arxiv.2403.01849,
title = {One Prompt Word is Enough to Boost Adversarial Robustness for Pre-trained Vision-Language Models},
author = {Lin Li and Haoyan Guan and Jianing Qiu and Michael Spratling},
journal= {arXiv preprint arXiv:2403.01849},
year = {2024}
}
备注
CVPR2024