通过细粒度目标突破黑盒 LVLM 攻击的前沿
机器学习
2026-02-20 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
针对大型视觉语言模型 (LVLMs) 的黑盒对抗攻击面临缺乏梯度和复杂多模态边界的问题。虽然先前基于迁移的基于局部作物级匹配的SOTA方法（如M-Attack）在源图像和目标图像之间取得良好效果，但我们发现这会导致跨迭代的高方差、近正交梯度，违反一致的局部对齐并 destabilize 优化。我们将这种现象归因于(i)ViT 翻译灵敏度导致尖峰状梯度，以及(ii)源作物和目标作物之间的结构不对称。我们将局部匹配重新表述为源转换和目标语义上的非对称期望，并构建一种梯度去噪升级版的M-Attack。在源端，Multi-Crop Alignment (MCA) 通过对每一次迭代从多个独立采样的局部视图平均梯度来降低方差。在目标端，Auxiliary Target Alignment (ATA) 用来自语义相关分布的小型辅助集替换激进的目标增强，产生更平滑、更低方差的目标流形。我们进一步将动量重新解释为Patch Momentum，通过回放历史作物梯度来实现；结合 refined patch-size ensemble (PE+)，这加强了可迁移的方向。这些模块共同构成M-Attack-V2，一种对M-Attack 的简单、模块化的增强版，显著提高了针对前沿LVLMs的基于迁移的黑盒攻击成功率：将Claude-4.0的成功率从8%提升至30%，将Gemini-2.5-Pro的成功率从83%提升至97%，将GPT-5的成功率从98%提升至100%，超越了先前的黑盒LVLM攻击方法。代码和数据已公开提供：https://github.com/vila-lab/M-Attack-V2。
引用
@article{arxiv.2602.17645,
title = {Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting},
author = {Xiaohan Zhao and Zhaoyi Li and Yaxin Luo and Jiacheng Cui and Zhiqiang Shen},
journal= {arXiv preprint arXiv:2602.17645},
year = {2026}
}
备注
Code at: https://github.com/vila-lab/M-Attack-V2