ODNN:面向在线社交网络中开放场景深度伪造检测的无配对数据挑战解决方案
计算机视觉与模式识别
2024-10-25 v1
摘要
尽管深度伪造检测取得了显著进展,但在不同压缩条件下处理图像质量差异仍然具有挑战性。当前方法通过利用配对图像(原始或压缩)之间的相关性来取得成功。然而,在开放场景中,配对数据稀缺,压缩图像易于获取,但对应的原始版本难以获得。这种数据不平衡——无配对数据远多于配对数据——常导致检测性能下降,因为现有方法在缺乏对应原始图像时难以工作。为克服此问题,我们提出了一种名为开放场景深度伪造检测网络(ODNN)的新方法,包含两个核心模块:开放场景数据聚合(ODA)和压缩丢弃梯度校正(CGC)。ODA通过对配对数据进行细粒度分析和对无配对数据进行粗粒度分析,有效地聚合了压缩样本与原始样本之间的相关性。CGC引入了压缩丢弃梯度校正,以进一步提升在OSN中不同压缩方法下的性能。该技术优化训练梯度,使模型对压缩变异不敏感。在17个流行深度伪造数据集上进行的大量实验表明,ODNN在SOTA基线上具有优势。
引用
@article{arxiv.2410.18687,
title = {ODDN: Addressing Unpaired Data Challenges in Open-World Deepfake Detection on Online Social Networks},
author = {Renshuai Tao and Manyi Le and Chuangchuang Tan and Huan Liu and Haotong Qin and Yao Zhao},
journal= {arXiv preprint arXiv:2410.18687},
year = {2024}
}
备注
9 pages, 4 figures