利用风格潜在流泛化深度伪造视频检测

本文提出了一种新的伪造视频检测方法，该方法基于对风格潜在向量及其在生成视频中随时间变化的异常行为的分析。我们发现，生成的面部视频在风格潜在向量的时间变化方面存在时间独特性，这是在生成具有各种面部表情和几何变换的时间稳定视频过程中不可避免的。我们的框架利用通过对比学习训练的 StyleGRU 模块来表示风格潜在向量的动态特性。此外，我们引入了一种风格注意力模块，将 StyleGRU 生成的特征与基于内容的特征相结合，从而能够检测视觉和时间伪影。我们在深度伪造检测的各种基准场景中展示了我们的方法，证明了其在跨数据集和跨操纵场景中的优越性。通过进一步分析，我们还验证了利用风格潜在向量的时间变化来提高深度伪造视频检测泛化性的重要性。