用于深度伪造视频泛化检测的时空特征
计算机视觉与模式识别
2020-10-23 v1
摘要
在深度伪造检测方面，视频级检测器的研究不如图像级检测器广泛，而后者未利用时间数据。在本文中，我们通过实验表明，现有的图像和序列分类器方法对新操纵技术的泛化能力较差。为此，我们提出由 3D CNN 建模的时空特征，以扩展检测新型深度伪造视频的泛化能力。我们表明空间特征学习特定的深度伪造方法属性，而时空特征捕获不同深度伪造方法间的共享属性。我们利用 DFDC 数据集 arXiv:2006.07397 深入分析了序列和时空视频编码器如何利用时间信息。由此，我们揭示所提方法捕获深度伪造视频中的局部时空关系与不一致性，而现有序列编码器对此不敏感。通过在 FaceForensics++ arXiv:1901.08971 和 Deeper Forensics arXiv:2001.03024 数据集上进行大规模实验，我们表明所提方法在泛化能力上优于现有方法。
引用
@article{arxiv.2010.11844,
title = {Spatio-temporal Features for Generalized Detection of Deepfake Videos},
author = {Ipek Ganiyusufoglu and L. Minh Ngô and Nedko Savov and Sezer Karaoglu and Theo Gevers},
journal= {arXiv preprint arXiv:2010.11844},
year = {2020}
}
备注
Submitted to Computer Vision and Image Understanding (CVIU)