面向图像伪造鉴别的语义差异感知检测器

随着图像生成技术的快速发展，鲁棒的伪造检测对于确保数字媒体的可信度变得日益重要。近期研究表明，预训练模型所学习的语义概念对于识别伪造图像至关重要。然而，伪造空间与语义概念空间之间的错位阻碍了模型的伪造检测性能。为解决此问题，我们提出了一种新颖的语义差异感知检测器（Semantic Discrepancy-aware Detector, SDD），该检测器利用重构学习在细粒度视觉层面将两个空间对齐。通过利用嵌入在预训练视觉语言模型中的概念知识，我们专门设计了一个语义令牌采样模块，以减轻由与伪造痕迹和语义概念均无关的特征引起的空间偏移。我们构建了一个基于视觉重建范式的概念级伪造差异学习模块，以加强视觉语义概念与伪造痕迹之间的交互，从而在概念的引导下有效捕获差异。最后，低级伪造特征增强器整合学习到的概念级伪造差异，以最小化冗余的伪造信息。在两个标准图像伪造数据集上进行的实验证明了所提出的 SDD 的有效性，与现有方法相比，其取得了更优的结果。代码可在 https://github.com/wzy1111111/SSD 获取。