ED$^4$: 深度伪造检测的显式数据级去偏
计算机视觉与模式识别
2025-07-16 v2
摘要
从有限数据中学习内在偏差被认为是深度伪造检测泛化失败的主要原因。除了已发现的内容偏差和特定伪造偏差外，我们揭示了一种新的空间偏差，其中检测器惰性预期在图像中心观察到结构伪造线索，这也可能导致现有方法的泛化能力差。我们提出了ED，一种简单有效的策略，在统一框架中显式地在数据层面解决上述偏差，而非通过网络设计进行隐式解耦。具体而言，我们开发了ClockMix来生成保留面部结构的任意样本混合，使检测器能够从指数级扩展的数据分布中学习，该分布包含更多样化的身份、背景、局部操纵痕迹以及多种伪造伪影的共现。我们进一步提出了对抗空间一致性模块（AdvSCM）来防止提取具有空间偏差的特征，该模块对抗性地生成空间不一致图像并约束其提取的特征保持一致。作为一种模型无关的去偏策略，ED即插即用：它可以与各种深度伪造检测器集成以获得显著收益。我们进行了大量实验以证明其有效性和对现有深度伪造检测方法的优越性。
引用
@article{arxiv.2408.06779,
title = {ED$^4$: Explicit Data-level Debiasing for Deepfake Detection},
author = {Jikang Cheng and Ying Zhang and Qin Zou and Zhiyuan Yan and Chao Liang and Zhongyuan Wang and Chen Li},
journal= {arXiv preprint arXiv:2408.06779},
year = {2025}
}