面向LVLM的结构引导视觉扰动中和
计算机视觉与模式识别
2026-05-28 v1 机器学习
摘要
图像输入使大型视觉语言模型（LVLM）能够感知细粒度视觉信息，但也引入了一个像素级攻击面，对抗性扰动可通过该攻击面引发不安全模型行为。然而，大多数现有防御方法是为传统计算机视觉场景设计的，因此常常忽略LVLM所需的跨模态对齐，导致性能下降。同时，少数为LVLM定制的防御方法通常需要大量图像修改并引入可观的计算开销，从而损害推理质量和效率。为解决这些限制，我们提出了结构引导动态中和（SIGN），一个轻量级、即插即用的防御框架，通过先验结构提取提升LVLM兼容性，并通过动态引导中和实现高效的扰动抑制。大量实验表明，SIGN仅需0.5%的像素修改和每张图像0.16秒即可实现超过87%的防御成功率，同时几乎完全保留了原始视觉表示和良性任务性能。我们的工作为需要昂贵模型训练的防御方法提供了一种轻量级替代方案，并凸显了利用视觉编码器进行高效对抗性保护的潜力。我们的代码已在https://anonymous.4open.science/r/SIGN-BCB1开源。
引用
@article{arxiv.2605.27927,
title = {Structure-Guided Visual Perturbation Neutralization for LVLMs},
author = {Yuanhe Zhang and Xueting Wang and YanBin Ren and Haoran Gao and Xinhan Zheng and Zhenhong Zhou and Fanyu Meng and Li Sun and Sen Su},
journal= {arXiv preprint arXiv:2605.27927},
year = {2026}
}