FoCLIP：基于特征空间错位框架的 CLIP 模型图像操作与检测

CLIP 模型的良好多模态对齐特性使其在诸如 CLIPscore 作为广泛采用的图像质量评估指标等应用中发挥有效作用。然而，由于其精细的多模态对齐，基于 CLIP 的评估指标对其脆弱性较大。本文提出了 **FoCLIP**——一个用于欺骗基于 CLIP 的图像质量评估指标的特征空间错位框架。基于随机梯度下降技术，FoCLIP 集成了三个关键组件以构建欺骗性示例：作为核心模块的特征对齐，用于减少图像-文本模态间的差距，以及得分分布平衡模块和像素守卫正则化，共同优化 CLIPscore 性能与图像质量之间的多模态输出均衡。这种设计可被工程化，以在保持高视觉保真度的同时，最大化跨多样化输入提示下的 CLIPscore 预测，尽管从人类感知角度来看，这些图像可能在视觉上不可辨识或与相应对抗性提示语义不符。实验在十个艺术名作提示和 ImageNet 子集上表明，优化后的图像在 CLIPscore 上可实现显著提升，同时保持高视觉保真度。此外，我们发现灰度转换会在欺骗图像中引起显著特征退化，表现为 CLIPscore 显著下降，但保持与原图的统计一致性。基于此现象，我们提出了一种基于颜色通道灵敏度的篡改检测机制，在标准基准测试上实现 91% 的检测准确率。总体而言，本工作为 CLIP 基于多模态系统中的特征错位及其相应防御方法提供了一条实用路径。