利用模态内与跨模态不一致性的无监督多模态深度伪造检测

深度伪造视频对社会构成日益增长的威胁，可能对刑事司法、民主以及个人安全与隐私产生负面影响。与此同时，大规模检测深度伪造仍是一项极具挑战的任务，通常需依赖现有深度伪造生成方法的带标签训练数据。此外，即便是最准确的监督式深度伪造检测方法，也无法泛化到使用新生成方法产生的深度伪造。本文提出一种新颖的无监督深度伪造视频检测方法，通过直接识别视频片段间的模态内与跨模态不一致性来实现检测。该检测方法背后的基本假设是：深度伪造视频中运动或身份的不一致性不可避免。我们将从数学与经验上支撑该假设，并据此构建基于理论分析的方法。所提方法在具有挑战性的 FakeAVCeleb 数据集上优于先前最先进的无人监督深度伪造检测方法，并具有若干额外优势：可扩展，因推理时无需每个身份的真实（ pristine）样本，故可应用于任意多身份；可泛化，因仅在真实视频上训练而不依赖特定深度伪造方法；可靠，因不依赖高维空间中的任何似然估计；可解释，因能精确定位模态不一致的位置并由人类专家核验。