探索时空特征用于深度伪造检测与定位
计算机视觉与模式识别
2022-10-31 v1 多媒体
摘要
随着深度伪造取证研究的不断深入，近期研究除视频级粗粒度分类外，还尝试提供伪造区域的细粒度定位。然而，现有深度伪造取证方法的检测与定位性能仍有较大提升空间。本文提出一种时空深度伪造检测与定位（ST-DDL）网络，同时挖掘空间与时间特征以检测和定位伪造区域。具体而言，我们设计了一种新的锚点网格运动（AMM）算法，通过对面部微表情的精确几何运动建模来提取时间（运动）特征。相较于为模拟大位移物体而设计的传统运动提取方法（如光流），我们所提 AMM 能更好地捕捉小位移面部特征。随后，时间特征与空间特征在基于 Transformer 架构的融合注意力（FA）模块中融合，用于最终的深度伪造取证任务。通过与若干最先进（SOTA）方法的实验对比，在视频级与像素级检测及定位性能上验证了 ST-DDL 网络的优越性。此外，为推动深度伪造取证的未来发展，我们构建了一个包含 6000 段视频的公开伪造数据集，具有诸多新特性，例如使用广泛应用的商业软件（如 After Effects）制作、提供经在线社交网络传输的版本、以及拼接多源视频。源代码与数据集见 https://github.com/HighwayWu/ST-DDL。
引用
@article{arxiv.2210.15872,
title = {Exploring Spatial-Temporal Features for Deepfake Detection and Localization},
author = {Wu Haiwei and Zhou Jiantao and Zhang Shile and Tian Jinyu},
journal= {arXiv preprint arXiv:2210.15872},
year = {2022}
}