挖掘通用不一致性以实现可泛化的深度伪造检测

深度伪造已出现数年，然而能够跨不同操纵方法泛化的高效检测技术仍需进一步研究。当前图像级检测方法因CNN对深度伪造纹理的强归纳偏置所带来的域偏移现象，难以泛化至未见域；而视频级方法展现出跨多域泛化与抗压缩鲁棒性的潜力。我们认为，尽管不同的面部操纵工具具有不同固有偏置，但它们均破坏了帧间一致性，而这是真实视频共享的自然特性。受此启发，我们提出一种通过捕捉广泛存在于不同伪造技术中的帧不一致性进行检测的方法，称为挖掘通用不一致性（UCI）。具体而言，基于自监督对比学习的UCI网络能更好区分来自多域的真实与伪造视频的时序一致性。我们引入时序保持模块方法以施加空间噪声扰动，将模型注意力导向时序信息。随后，利用多视角交叉相关学习模块，我们充分学习真实与伪造样本间时序表示的差异。大量实验证明了我们的方法在未见深度伪造域上的泛化能力。