多样化反击：用于鲁棒CLIP推断的正交探索
计算机视觉与模式识别
2025-11-13 v1
摘要
视觉语言预训练模型（Vision-Language Pre-training models, VLPs）在多模态理解和零样图泛化方面表现出强大的能力，但仍然对对抗样本十分脆弱，这引发了可靠性的广泛关注。最近的工作Test-Time Counterattack（TTC）通过生成扰动来最大化对抗样本输入的嵌入偏移，从而提高鲁棒性，将其推远离对抗表示。然而，由于对抗攻击和反击之间的优化目标存在根本差异，仅基于对抗输入梯度生成反击将限制搜索空间，从而导致反击过拟合有限的对抗模式且缺乏多样性，难以充分中和广泛的扰动。本文认为，增强反击的多样性和覆盖范围是提高对抗鲁棒性的关键。因此，我们提出了Directional Orthogonal Counterattack（DOC），通过纳入正交梯度方向和动量更新来扩充反击优化，从而扩大反击空间的探索范围，增加扰动的多样性，这有助于发现更具可泛化性的反击，从而提高中和对抗扰动的能力。同时，我们提出一种基于平均余弦相似性的方向灵敏度评分，以提高DOC的效果，增强样本辨别能力并自适应调节反击强度。在16个数据集上的大量实验表明，DOC在各种攻击下均能提高对抗鲁棒性，同时保持竞争的干净准确率。代码可用 https://github.com/bookman233/DOC。
引用
@article{arxiv.2511.09064,
title = {Diversifying Counterattacks: Orthogonal Exploration for Robust CLIP Inference},
author = {Chengze Jiang and Minjing Dong and Xinli Shi and Jie Gui},
journal= {arXiv preprint arXiv:2511.09064},
year = {2025}
}
备注
Accepted to AAAI-2026 Oral