探究跨模态生成模型中的排版视觉提示注入威胁
计算机视觉与模式识别
2025-11-06 v4 计算与语言
摘要
当前的跨模态生成模型（Cross-Modality Generation Models, GMs）在各种生成任务中展现出了卓越的能力。鉴于现实场景中视觉模态输入的普遍性与信息丰富性，跨视觉任务——包括视觉语言感知（Vision-Language Perception, VLP）和图像到图像（Image-to-Image, I2I）——引起了广泛关注。大型视觉语言模型（Large Vision Language Models, LVLMs）和 I2I 生成模型分别被用于处理 VLP 和 I2I 任务。先前的研究表明，将排版文字打印到输入图像中会显著诱导 LVLMs 和 I2I GMs 产生与这些文字在语义上对齐的破坏性输出。此外，作为排版的一种更复杂形式，视觉提示也被揭示对跨视觉任务的各种应用构成安全风险。然而，视觉提示所构成威胁的具体特征仍有待深入探索。本文旨在全面研究排版视觉提示注入（Typographic Visual Prompt Injection, TVPI）在各种 LVLMs 和 I2I GMs 中造成的性能影响，我们提出了排版视觉提示注入数据集，并在具有不同目标语义的视觉提示下，对各类开源和闭源 LVLMs 及 I2I GMs 的 TVPI 安全风险进行了全面评估，从而深化对 TVPI 威胁的理解。
引用
@article{arxiv.2503.11519,
title = {Exploring Typographic Visual Prompts Injection Threats in Cross-Modality Generation Models},
author = {Hao Cheng and Erjia Xiao and Yichi Wang and Lingfeng Zhang and Qiang Zhang and Jiahang Cao and Kaidi Xu and Mengshu Sun and Xiaoshuai Hao and Jindong Gu and Renjing Xu},
journal= {arXiv preprint arXiv:2503.11519},
year = {2025}
}
备注
This paper is accepted by IJCAI2025 Workshop on Deepfake Detection, Localization, and Interpretability as Best Student Paper