隐蔽深度伪造：视频中伪造片段的检测

近期由扩散模型出现及GAN方法迭代改进所驱动的生成模型复兴，催生了许多创造性应用。然而，每一项进展也伴随着滥用潜力的上升。在深度伪造生成领域，这是一个关键的社会问题。特别是，使用此类生成技术修改视频片段的能力创造了一种新型深度伪造范式：多为真实视频被轻微篡改以扭曲事实。学术文献中现有的深度伪造检测方法对这一范式探索不足。本文提出一种深度伪造检测方法，可通过在帧级和视频级进行深度伪造预测来解决该问题。为便于测试我们的方法，我们构建了一个新的基准数据集，其中视频同时包含真实与伪造帧序列且过渡极为细微。我们基于所提数据集，利用基于Scaling and Shifting的Vision Transformer学习空间特征、以及Timeseries Transformer学习视频时间特征来辅助解释可能的深度伪造，给出了使用我们检测方法的基准结果。在多种深度伪造生成方法上的大量实验表明，所提方法在时间分割和经典视频级预测上均取得优异结果。特别地，我们所解决的范式将构成深度伪造审核的有力工具，使人工监督能更好地聚焦于疑似深度伪造的视频片段。所有实验可在 github.com/rgb91/temporal-deepfake-segmentation 复现。