鲁棒的序列式 DeepFake 检测
摘要
由于如今照片级真实人脸可被面部操控技术轻易生成，这些技术的潜在恶意滥用已引发极大关注。因此众多 deepfake 检测方法被提出。然而，现有方法仅关注单步面部操控的检测。随着易获取的面部编辑应用的出现，人们可通过多步操作以序列方式轻松操控面部组件。这一新威胁要求我们检测一系列面部操控，这对于检测 deepfake 媒体及随后恢复原始人脸都至关重要。受此观察启发，我们强调该需求并提出一个名为检测序列式 DeepFake 操控（Seq-DeepFake）的新研究问题。不同于现有 deepfake 检测任务仅需求二值标签预测，检测 Seq-DeepFake 操控需要正确预测面部操控操作的序列向量。为支持大规模研究，我们构建了首个 Seq-DeepFake 数据集，其中人脸图像被顺序操控并带有相应序列面部操控向量标注。基于该新数据集，我们将检测 Seq-DeepFake 操控视为特定的图像到序列任务，并提出一个简洁而有效的 Seq-DeepFake Transformer（SeqFakeFormer）。为更好反映真实世界 deepfake 数据分布，我们进一步在原始 Seq-DeepFake 数据集上施加多种扰动并构建更具挑战性的带扰动序列式 DeepFake 数据集（Seq-DeepFake-P）。为在面对 Seq-DeepFake-P 时挖掘图像与序列间更深层的关联，我们设计了专用的带图像-序列推理的 Seq-DeepFake Transformer（SeqFakeFormer++），其建立更强的图像-序列对对应以实现更鲁棒的 Seq-DeepFake 检测。
引用
@article{arxiv.2309.14991,
title = {Robust Sequential DeepFake Detection},
author = {Rui Shao and Tianxing Wu and Ziwei Liu},
journal= {arXiv preprint arXiv:2309.14991},
year = {2024}
}
备注
IJCV 2025. Extension of our ECCV 2022 paper: arXiv:2207.02204. Code: https://github.com/rshaojimmy/SeqDeepFake