定位与验证：一种用于改进深度伪造检测的双流网络
计算机视觉与模式识别
2023-09-21 v1
摘要
Deepfake席卷全球，引发了信任危机。当前的深度伪造检测方法通常泛化性不足，倾向于过拟合于训练数据集中频繁出现但相对不重要的图像内容（如背景）。此外，当前方法严重依赖少数主导伪造区域，可能忽略其他同等重要的区域，导致伪造线索揭示不充分。在本文中，我们从三个方面努力解决这些缺陷：（1）我们提出一种创新的双流网络，有效扩大模型提取伪造证据的可能区域。（2）我们设计三个功能模块，以协同学习方案处理多流和多尺度特征。（3）面对获取伪造标注的挑战，我们提出一种半监督块相似度学习策略来估计块级伪造位置标注。经验上，我们的方法展现出显著改进的鲁棒性和泛化性，在六个基准上优于先前方法，并将Deepfake Detection Challenge预览数据集上的帧级AUC从0.797提升至0.835，将CelebDFv1数据集上的视频级AUC从0.811提升至0.847。我们的实现可在 https://github.com/sccsok/Locate-and-Verify 获取。
引用
@article{arxiv.2309.11131,
title = {Locate and Verify: A Two-Stream Network for Improved Deepfake Detection},
author = {Chao Shuai and Jieming Zhong and Shuang Wu and Feng Lin and Zhibo Wang and Zhongjie Ba and Zhenguang Liu and Lorenzo Cavallaro and Kui Ren},
journal= {arXiv preprint arXiv:2309.11131},
year = {2023}
}
备注
10 pages, 8 figures, 60 references. This paper has been accepted for ACM MM 2023