通过对目标标记进行语境注入来增强视觉语言模型中的跨提示迁移性
多媒体
2024-06-21 v1 机器学习
摘要
视觉语言模型（VLMs）将视觉和文本数据无缝集成，以执行图像分类、标题生成和视觉问答等任务。然而，针对性图像在跨提示迁移攻击中往往难以有效欺骗所有提示，因为这些图像中的标记概率分布倾向于偏向原始图像的语义，而非目标标记。为解决这一挑战，我们提出了一种语境注入攻击（CIA），该方法采用梯度-based 扰动将目标标记注入视觉和文本语境中，从而提高目标标记的概率分布。通过将语境语义从原始图像语义转向目标标记语义，CIA增强了对抗图像的跨提示迁移性。在BLIP2、InstructBLIP和LLaVA模型上进行的广泛实验表明，CIA在跨提示迁移性方面优于现有方法，展示了其在VLMs中更有效对抗策略的潜力。
引用
@article{arxiv.2406.13294,
title = {Enhancing Cross-Prompt Transferability in Vision-Language Models through Contextual Injection of Target Tokens},
author = {Xikang Yang and Xuehai Tang and Fuqing Zhu and Jizhong Han and Songlin Hu},
journal= {arXiv preprint arXiv:2406.13294},
year = {2024}
}
备注
13 pages