基于卷积 LSTM 残差网络的深度伪造视频检测
计算机视觉与模式识别
2020-09-17 v1 多媒体
摘要
近年来，基于深度学习的视频操控方法已广泛为大众所获取。人们只需极少甚至无需 effort，便可轻松学会仅用少量受害者或目标图像生成深度伪造视频。这给照片公开出现在互联网上（尤其是社交媒体网站）的每个人带来了重大的社会问题。已有若干基于深度学习的检测方法被开发出来以识别这些深度伪造。然而，这些方法缺乏泛化性，因为它们仅对特定类型的深度伪造方法表现良好。因此，那些方法无法迁移用于检测其他深度伪造方法。此外，它们未利用视频的时间信息。在本文中，我们解决了这些局限。我们开发了基于卷积 LSTM 的残差网络（CLRNet），其以视频中连续图像序列作为输入，学习时间信息，从而有助于检测深度伪造视频帧间存在的不自然伪影。我们还提出了一种基于迁移学习的方法来泛化不同的深度伪造方法。通过使用 FaceForensics++ 数据集的严格实验，我们表明我们的方法在使用同一模型更好地泛化检测不同深度伪造方法方面，优于五种先前提出的最先进深度伪造检测方法。
引用
@article{arxiv.2009.07480,
title = {A Convolutional LSTM based Residual Network for Deepfake Video Detection},
author = {Shahroz Tariq and Sangyup Lee and Simon S. Woo},
journal= {arXiv preprint arXiv:2009.07480},
year = {2020}
}