以火攻火 (F3)：一种面向 LVLMs 的免训练高效视觉对抗样本净化方法
计算机视觉与模式识别
2025-09-16 v3 人工智能
摘要
大型视觉语言模型 (LVLMs) 的最新进展展示了其在广泛的多模态视觉语言任务中的卓越能力。然而，这些模型仍然容易受到视觉对抗攻击的影响，这可能严重损害其性能。在本文中，我们引入了 F3，一种新颖的对抗净化框架，它采用了一种有悖常理的“以火攻火”策略：故意向对抗样本引入简单扰动以减轻其有害影响。具体而言，F3 将从随机扰动的对抗样本中导出的跨模态注意力作为参考目标。通过向这些对抗样本注入噪声，F3 有效地优化了它们的注意力，从而产生更干净、更可靠的模型输出。值得注意的是，这种利用噪声对抗对抗攻击的看似矛盾的方法产生了令人印象深刻的净化结果。此外，F3 具有几个显著优势：它是免训练的且易于实现，与现有的净化方法相比，展现出显著的计算效率提升。这些特性使 F3 特别适用于稳健性能和运行效率均为关键优先事项的大规模工业应用。代码可在 https://github.com/btzyd/F3 获取。
引用
@article{arxiv.2506.01064,
title = {Fighting Fire with Fire (F3): A Training-free and Efficient Visual Adversarial Example Purification Method in LVLMs},
author = {Yudong Zhang and Ruobing Xie and Yiqing Huang and Jiansheng Chen and Xingwu Sun and Zhanhui Kang and Di Wang and Yu Wang},
journal= {arXiv preprint arXiv:2506.01064},
year = {2025}
}
备注
Accepted by ACM Multimedia 2025 BNI track (Oral)