数据无关算子:一种用于可泛化深度伪造检测的免训练伪影表示提取器
计算机视觉与模式识别
2024-03-12 v1
摘要
近年来,由各种生成对抗网络生成的日益逼真的合成图像激增,增加了被滥用的风险。因此,迫切需要开发一种可泛化的检测器,以准确识别伪造图像。传统方法依赖于生成多样化的训练源或使用大型预训练模型。在这项工作中,我们表明,相反,小型且免训练的滤波器足以捕捉更通用的伪影表示。由于其对训练源和测试源均无偏倚,我们将其定义为数据无关算子(Data-Independent Operator, DIO),以在未见过的源上实现显著的改进。在我们的框架中,手工设计的滤波器和随机初始化的卷积层均可作为免训练的伪影表示提取器,并取得优异结果。将流行分类器(如 Resnet50)的数据无关算子结合使用,无需额外技巧即可达到新的最先进水平。我们在 33 种生成模型(甚至包括 DALLE 和 Midjourney)上评估了 DIO 的有效性。我们的检测器实现了 的显著改进,确立了新的最先进性能。DIO 及其扩展可作为未来方法的强基线。代码 available at \url{https://github.com/chuangchuangtan/Data-Independent-Operator}。
引用
@article{arxiv.2403.06803,
title = {Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection},
author = {Chuangchuang Tan and Ping Liu and RenShuai Tao and Huan Liu and Yao Zhao and Baoyuan Wu and Yunchao Wei},
journal= {arXiv preprint arXiv:2403.06803},
year = {2024}
}
备注
12 pages, 3 figures