基于几何虚假性特征的多人脸视频深度伪造检测

近年来 facial manipulation 技术的发展使得视频流中的深度伪造检测成为面部生物识别、品牌监控或在线视频会议解决方案中的重要问题。在生物识别身份验证情况下，如果用深度伪造替换真实数据流，可以绕过活体检测系统。使用深度伪造进行视频会议，可以渗透进入私人会议。深度伪造的受害者或公众人物也可被欺诈者用于勒索、敲诈和金融欺诈。因此，检测深度伪造对于确保隐私和安全至关重要。在现有的深度伪造检测方法中，当视频中同时出现多个面部或存在其他被误分类为面部的物体时，性能会恶化。我们的研究提出使用几何虚假性特征（geometric-fakeness features, GFF），该特征描述了面部在视频中存在程度的动态程度以及其每帧的深度伪造得分。为了分析 GFF 在帧与帧之间的时间不一致性，我们训练了一个复杂的深度学习模型，以输出最终的深度伪造预测。我们的方法用于分析同时出现于视频中的多个面部的视频。这类视频在实际中经常发生，例如在线视频会议。在这种情况下，真实面部与深度伪造面部一起出现在同一帧中将显著影响深度伪造检测，而我们的做法可克服这一问题。通过大量实验，我们证明了该方法在诸如 FaceForensics++、DFDC、Celeb-DF 和 WildDeepFake 等流行基准数据集上的性能优于当前最先进的方法。该方法在训练用于检测多种不同深度伪造生成技术时仍保持准确性。