以光为欺：针对视觉-语言预训练模型的GPT驱动自然重光照攻击
计算机视觉与模式识别
2025-06-02 v1 密码学与安全
摘要
尽管针对视觉-语言预训练 (VLP) 模型的对抗攻击已被探索，但通过真实且具有语义意义的扰动来生成自然对抗样本仍是一个开放挑战。现有方法主要为分类任务设计，在适配到 VLP 模型时，由于优化空间受限而难以奏效，导致攻击无效或产生不自然的伪影。为解决此问题，我们提出了 \textbf{LightD}，一种通过语义引导的重光照为 VLP 模型生成自然对抗样本的新颖框架。具体而言，LightD 利用 ChatGPT 提出上下文感知的初始光照参数，并集成预训练重光照模型 (IC-light) 以实现多样的光照调整。LightD 在确保扰动符合场景语义的同时扩展了优化空间。此外，对参考光照图像应用基于梯度的优化，在保持视觉自然性的同时进一步增强攻击有效性。所提出的 LightD 的有效性和优越性已在图像描述和视觉问答等任务中的多种 VLP 模型上得到证明。
引用
@article{arxiv.2505.24227,
title = {Light as Deception: GPT-driven Natural Relighting Against Vision-Language Pre-training Models},
author = {Ying Yang and Jie Zhang and Xiao Lv and Di Lin and Tao Xiang and Qing Guo},
journal= {arXiv preprint arXiv:2505.24227},
year = {2025}
}