一种可证明的能量引导测试时防御，提升大型视觉语言模型对抗鲁棒性
计算机视觉与模式识别
2026-04-01 v2
摘要
尽管多模态模型和大型视觉语言模型(LVLM)取得了快速进展，但它们仍高度易受对抗性扰动的威胁，这引发了对其在现实世界应用中可靠性的严重关切。虽然对抗训练已成为构建对抗攻击鲁棒模型的主导范式，但测试时转换(TTT)正在作为一种提升推理时鲁棒性的有前景的策略。鉴于此，我们提出了能量引导测试时转换(ET3)，这是一种轻量级、无需训练的防御方法，通过最小化输入样本的能量来增强鲁棒性。我们的方法建立在一种理论之上，证明了在合理假设下，该转换在分类任务中成功。我们 presented extensive experiments，表明ET3为分类器、零样本分类(使用CLIP)以及提升LVLLM在诸如图像描述和视觉问答等任务中的鲁棒性提供了有力的防御。代码已在 github.com/OmnAI-Lab/Energy-Guided-Test-Time-Defense 上提供。
引用
@article{arxiv.2603.26984,
title = {A Provable Energy-Guided Test-Time Defense Boosting Adversarial Robustness of Large Vision-Language Models},
author = {Mujtaba Hussain Mirza and Antonio D'Orazio and Odelia Melamed and Iacopo Masi},
journal= {arXiv preprint arXiv:2603.26984},
year = {2026}
}
备注
Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026, Main Conference