DeepFeatureX Net：基于深度特征提取器的合成图像与真实图像鉴别网络
计算机视觉与模式识别
2024-04-25 v1 人工智能
摘要
深度伪造合成图像是由深度学习算法生成的图像，代表了数字 forensics 领域面临的最大挑战之一。科学界正努力开发能够判别数字图像来源(真实或AI生成)的方法。然而，这些方法面临着泛化性挑战，即即使图像是由训练期未见过的架构生成，也能判别其性质。这通常导致性能下降。在此背景下，我们提出了一种新方法，基于三个称为基本模型(block)的模块，每个模块负责提取特定图像类别(扩散模型生成、GAN生成或真实)的判别性特征，其训练是通过利用刻意不平衡的数据集实现的。每个模块提取的特征随后被拼接并处理，以判别输入图像的来源。实验结果表明，该方法不仅在JPEG压缩方面表现出良好的鲁棒性，而且在多个泛化测试中超越了当前最先进的方法。代码、模型和数据集均可在https://github.com/opontorno/block-based_deepfake-detection 获取。
引用
@article{arxiv.2404.15697,
title = {DeepFeatureX Net: Deep Features eXtractors based Network for discriminating synthetic from real images},
author = {Orazio Pontorno and Luca Guarnera and Sebastiano Battiato},
journal= {arXiv preprint arXiv:2404.15697},
year = {2024}
}