面向图像篡改定位的像素不一致性建模
密码学与安全
2024-11-20 v2 计算机视觉与模式识别
图像与视频处理
摘要
数字图像取证在图像认证与篡改定位中起着关键作用。尽管深度神经网络带来了进展, 现有伪造定位方法在部署到未知数据集与扰动图像时存在局限(即缺乏泛化性与对真实应用的鲁棒性)。为规避这些问题并辅助图像完整性, 本文通过分析像素不一致伪影, 提出一种泛化且鲁棒的篡改定位模型。其依据在于观察到多数图像信号处理器(ISP)涉及去马赛克过程, 这在原始图像中引入了像素相关性。此外, 包括拼接、复制-移动与修复在内的篡改操作会直接影响此种像素规律性。因此, 我们首先将输入图像分块, 并设计掩码自注意力机制以建模输入图像的全局像素依赖。同时, 我们优化另一条局部像素依赖流以挖掘输入伪造图像中的局部篡改线索。此外, 我们设计新颖的 Learning-to-Weight Modules (LWM) 来融合两流特征, 从而提升最终伪造定位性能。为改进训练过程, 我们提出一种新颖的 Pixel-Inconsistency Data Augmentation (PIDA) 策略, 驱动模型聚焦于捕获固有的像素级伪影而非挖掘语义伪造痕迹。本工作建立了一个综合基准, 整合了 12 个数据集上的 15 个代表性检测模型。大量实验表明, 我们的方法成功提取了固有的像素不一致伪造指纹, 并在图像篡改定位中取得了最先进的泛化与鲁棒性能。
引用
@article{arxiv.2310.00234,
title = {Pixel-Inconsistency Modeling for Image Manipulation Localization},
author = {Chenqi Kong and Anwei Luo and Shiqi Wang and Haoliang Li and Anderson Rocha and Alex C. Kot},
journal= {arXiv preprint arXiv:2310.00234},
year = {2024}
}