利用长距离注意力检测深度伪造视频
计算机视觉与模式识别
2021-06-25 v1
摘要
近年来深度伪造技术快速发展，人脸视频伪造能够生成极具欺骗性的视频内容并带来严重的安全威胁，对此类伪造视频的检测愈发迫切且具挑战性。现有多数检测方法将该问题视为普通的二分类问题。本文将其视为一种特殊的细粒度分类问题，因为真假人脸之间的差异非常细微。观察到现有多数人脸伪造方法在空间域和时间域留下了共性伪影，包括空间域的生成缺陷与时间域的帧间不一致性。为此提出一种时空模型，其包含两个组件，分别从全局视角捕捉空间与时间上的伪造痕迹。这两个组件采用一种新颖的长距离注意力机制设计：空间域组件用于捕捉单帧中的伪影，时间域组件用于捕捉连续帧中的伪影，二者以图像块形式生成注意力图。该注意力方法具有更广阔的视野，有助于更好地聚合全局信息并提取局部统计信息。最终，如同其他细粒度分类方法，注意力图被用于引导网络聚焦于人脸的关键部位。在不同公开数据集上的实验结果表明，所提方法取得了最先进的性能，且所提长距离注意力方法能有效捕捉人脸伪造的关键部位。
引用
@article{arxiv.2106.12832,
title = {Detection of Deepfake Videos Using Long Distance Attention},
author = {Wei Lu and Lingyi Liu and Junwei Luo and Xianfeng Zhao and Yicong Zhou and Jiwu Huang},
journal= {arXiv preprint arXiv:2106.12832},
year = {2021}
}