通过制造时空规律性扰动来检测 Deepfake
计算机视觉与模式识别
2023-06-27 v2
摘要
尽管深度伪造检测取得了令人鼓舞的进展，但由于训练期间探索的伪造线索有限，对未见伪造类型的泛化仍是一项重大挑战。相反，我们注意到深度伪造中的一个常见现象：伪造视频的创建不可避免地破坏了原始视频中的统计规律性。受此观察启发，我们提出通过区分真实视频中未出现的“规律性扰动”来提升深度伪造检测的泛化能力。具体而言，通过仔细考察空间和时间特性，我们提出通过伪伪造生成器扰动真实视频，并创建广泛的伪伪造视频用于训练。这种做法使我们能够在不使用伪造视频的情况下实现深度伪造检测，并以简单高效的方式提升泛化能力。为联合捕获空间和时间扰动，我们提出时空增强模块，在我们自建视频上学习跨空间和时间的规律性扰动。通过全面实验，我们的方法在多个数据集上展现出优异性能。
引用
@article{arxiv.2207.10402,
title = {Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption},
author = {Jiazhi Guan and Hang Zhou and Mingming Gong and Errui Ding and Jingdong Wang and Youjian Zhao},
journal= {arXiv preprint arXiv:2207.10402},
year = {2023}
}