探索时间相干性以实现更通用的视频人脸伪造检测

尽管当前人脸操纵技术在质量与可控性上取得了令人印象深刻的性能，但它们难以生成时间相干的人脸视频。本工作中，我们探索充分利用时间相干性进行视频人脸伪造检测。为此，我们提出了一种新颖的端到端框架，由两个主要阶段组成。第一阶段是全时间卷积网络（FTCN）。FTCN 的关键思路是将空间卷积核大小降为 1，同时保持时间卷积核大小不变。我们惊讶地发现这一特殊设计有利于模型提取时间特征并提升泛化能力。第二阶段是时间 Transformer 网络，旨在探索长期时间相干性。所提框架通用且灵活，可直接从头训练，无需任何预训练模型或外部数据集。大量实验表明，我们的框架优于现有方法，且在应用于检测新型人脸伪造视频时仍保持有效。