换脸深度伪造视频的模型溯源
计算机视觉与模式识别
2022-03-01 v1 多媒体
摘要
AI生成的换脸视频，通常称为Deepfakes，作为强大的冒充攻击已引起广泛关注。现有关于Deepfakes的研究多聚焦于区分真实与伪造视频的二分类检测。然而，确定伪造视频的具体生成模型同样重要，这有助于在取证调查中将其溯源至来源。本文中，我们通过研究Deepfake视频的模型溯源问题来填补这一空白。我们首先基于多个自编码器模型引入一个包含来自不同模型的DeepFakes（DFDM）的新数据集。具体而言，使用了在编码器、解码器、中间层、输入分辨率和压缩比上有所变化的五种生成模型，基于相同输入共生成6450个Deepfake视频。随后我们将Deepfakes模型溯源视为多分类任务，并提出一种基于空间与时间注意力的方法来探究新数据集中Deepfakes间的差异。实验评估表明，大多数现有Deepfakes检测方法在模型溯源上失败，而所提方法在高质量DFDM数据集上取得了超过70%的准确率。
引用
@article{arxiv.2202.12951,
title = {Model Attribution of Face-swap Deepfake Videos},
author = {Shan Jia and Xin Li and Siwei Lyu},
journal= {arXiv preprint arXiv:2202.12951},
year = {2022}
}