检测与恢复序列DeepFake篡改

由于如今逼真人脸可轻易由人脸操纵技术生成，这些技术的潜在恶意滥用已引发极大关注。因此众多deepfake检测方法被提出。然而，现有方法仅关注检测单步人脸操纵。随着易获取的人脸编辑应用的出现，人们可利用多步操作以序列方式轻易操纵人脸部件。这一新威胁要求我们检测一系列人脸操纵，这对于检测deepfake媒体及随后恢复原始人脸都至关重要。受此观察启发，我们强调该需求并提出一种称为检测序列DeepFake操纵（Seq-DeepFake）的新研究问题。不同于现有deepfake检测任务仅要求二分类标签预测，检测Seq-DeepFake操纵需正确预测人脸操纵操作的序列向量。为支撑大规模研究，我们构建了首个Seq-DeepFake数据集，其中人脸图像被顺序操纵并带有相应序列人脸操纵向量标注。基于该新数据集，我们将检测Seq-DeepFake操纵视为特定的图像到序列（如图像描述）任务，并提出简洁而有效的Seq-DeepFake Transformer（SeqFakeFormer）。此外，我们构建了全面基准并为此新研究问题建立了严格的评估协议与指标。大量实验证明了SeqFakeFormer的有效性。若干有价值的观察也被揭示以促进更广泛的deepfake检测问题的未来研究。