用于DeepFake视频检测的时空不一致性学习
计算机视觉与模式识别
2021-10-12 v3
摘要
近年来，面部操控技术的快速发展引起了公众担忧。随着深度学习的成功，现有方法通常将DeepFake视频检测表述为二分类问题，并发展了基于帧和基于视频的解决方案。然而，极少有关注捕捉伪造视频中空间-时间不一致性的工作。为解决此问题，我们将该任务定义为空间-时间不一致性学习（Spatial-Temporal Inconsistency Learning, STIL）过程，并将其实例化为一个新颖的STIL模块，该模块由空间不一致性模块（Spatial Inconsistency Module, SIM）、时间不一致性模块（Temporal Inconsistency Module, TIM）和信息补充模块（Information Supplement Module, ISM）组成。具体而言，我们在TIM中提出一种新颖的时间建模范式，利用相邻帧沿水平与垂直方向的时间差分。ISM同时利用来自SIM的空间信息与来自TIM的时间信息，以建立更全面的时空表示。此外，我们的STIL模块具有灵活性，可插入现有2D CNN中。大量实验与可视化结果证明了我们的方法相对于最先进（SOTA）竞争方法的有效性。
引用
@article{arxiv.2109.01860,
title = {Spatiotemporal Inconsistency Learning for DeepFake Video Detection},
author = {Zhihao Gu and Yang Chen and Taiping Yao and Shouhong Ding and Jilin Li and Feiyue Huang and Lizhuang Ma},
journal= {arXiv preprint arXiv:2109.01860},
year = {2021}
}
备注
To appear in ACM MM 2021