重新思考基于 CNN 的生成网络中的上采样操作以实现泛化的 Deepfake 检测
计算机视觉与模式识别
2023-12-21 v2
摘要
近年来，在各种 GAN 和 Diffusion 的推动下，高度逼真合成图像的激增显著增加了被滥用的可能性。尽管 Deepfake 检测的传统重心一直放在检测算法的设计上，但近年来对生成器架构的调查探究却明显缺失。本文通过重新思考基于 CNN 的生成器架构来填补这一空白，从而建立合成伪影的泛化表示。我们的发现表明，上采样算子除了产生基于频率的伪影外，还能产生泛化的伪造伪影。特别是，由上采样算子引起的图像像素间的局部相互依赖性，在 GAN 或 Diffusion 生成的合成图像中得到了显著体现。基于这一观察，我们引入了相邻像素关系（NPR）的概念，作为捕获和表征源于上采样操作的泛化结构伪影的一种手段。我们在一个开放世界数据集上进行了全面分析，该数据集包含由 28 个不同生成模型生成的样本。该分析最终确立了新的 SOTA 性能，展现出比现有方法 11.6% 的显著提升。代码可在 https://github.com/chuangchuangtan/NPR-DeepfakeDetection 获取。
关键词
引用
@article{arxiv.2312.10461,
title = {Rethinking the Up-Sampling Operations in CNN-based Generative Network for Generalizable Deepfake Detection},
author = {Chuangchuang Tan and Huan Liu and Yao Zhao and Shikui Wei and Guanghua Gu and Ping Liu and Yunchao Wei},
journal= {arXiv preprint arXiv:2312.10461},
year = {2023}
}
备注
10 pages, 4 figures