AltFreezing:面向更通用的视频人脸伪造检测
计算机视觉与模式识别
2023-07-18 v1
摘要
现有人脸伪造检测模型试图仅通过检测空间伪影(如生成伪影、融合)或主要时序伪影(如闪烁、不连续)来判别假图像。当面对域外伪影时,它们可能经历显著的性能退化。本文中,我们提出在单一模型中同时捕捉空间与时序伪影以进行人脸伪造检测。一个简单的思路是利用时空模型(3D ConvNet)。然而,我们发现其可能轻易依赖一类伪影而忽略另一类。为解决此问题,我们提出一种称为AltFreezing的新型训练策略,以用于更通用的人脸伪造检测。AltFreezing旨在促使模型检测空间与时序伪影。它将时空网络的权重分为两组:空间相关与时序相关。随后在训练过程中交替冻结这两组权重,使模型能学习空间与时序特征以区分真实或伪造视频。此外,我们引入多种视频级数据增强方法以提升伪造检测模型的泛化能力。大量实验表明,我们的框架在泛化至未见操纵与数据集方面优于现有方法。代码见 https: //github.com/ZhendongWang6/AltFreezing。
引用
@article{arxiv.2307.08317,
title = {AltFreezing for More General Video Face Forgery Detection},
author = {Zhendong Wang and Jianmin Bao and Wengang Zhou and Weilun Wang and Houqiang Li},
journal= {arXiv preprint arXiv:2307.08317},
year = {2023}
}
备注
Accepted by CVPR 2023 Highlight, code and models are available at https: //github.com/ZhendongWang6/AltFreezing