揭示排版欺骗：大型视觉 - 语言模型中排版漏洞的洞察

大型视觉 - 语言模型 (LVLMs) 依赖视觉编码器和大型语言模型 (LLMs)，在视觉和语言的联合空间中展现出卓越的多模态任务能力。然而，旨在破坏视觉 - 语言模型 (VLMs)（如对比语言 - 图像预训练 (CLIP)）的排版攻击，也被预期会对 LVLMs 构成安全威胁。首先，我们验证了当前知名的商业和开源 LVLMs 上的排版攻击，揭示了这种威胁的广泛存在。其次，为了更好地评估这一漏洞，我们提出了迄今为止最全面、最大规模的排版数据集 (Typographic Dataset)。该数据集不仅考虑了在各种多模态任务下对排版攻击的评估，还评估了受多种因素生成的文本影响的排版攻击效果。基于评估结果，我们调查了排版攻击影响 VLMs 和 LVLMs 的原因，得出了三个极具洞察力的发现。在进一步验证我们发现合理性的过程中，我们将排版攻击导致的性能下降从 42.07\% 降低到了 13.90\%。代码和数据集可在 \href{https://github.com/ChaduCheng/TypoDeceptions} 获取。