通过主区域正则化实现可泛化的深度伪造检测
计算机视觉与模式识别
2023-07-31 v2
摘要
现有的深度伪造检测方法在泛化到未见过的伪造与篡改方法上已遇到瓶颈。基于深度伪造检测器表现出对输入中特定主区域过拟合的偏好这一观察，本文从一种新的正则化视角增强泛化能力。这可通过主区域移除来增强图像从而简单实现，进而防止检测器过度依赖数据偏差。我们的方法包含两阶段，即主区域图的静态定位，以及主区域掩码的动态利用。所提方法可无缝集成到不同骨干网络中而不影响推理效率。我们在三个广泛使用的深度伪造数据集 DFDC、DF-1.0 和 Celeb-DF 上以五种骨干网络进行了大量实验。我们的方法在不同骨干网络上平均性能提升 6%，并与若干最先进基线具有竞争力。
引用
@article{arxiv.2307.12534,
title = {Towards Generalizable Deepfake Detection by Primary Region Regularization},
author = {Harry Cheng and Yangyang Guo and Tianyi Wang and Liqiang Nie and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2307.12534},
year = {2023}
}
备注
12 pages. v2 corrected one minor citation error. Code and Dataset: https://github.com/xaCheng1996/PRLE