利用光流特征融合CNN-LSTM混合模型进行视频深度伪造检测
计算机视觉与模式识别
2022-08-02 v1 人工智能
摘要
深度伪造（Deepfake）是为欺骗观众而合成的超真实虚假视频数字媒体。深度生成算法（如生成对抗网络（GAN））被广泛用于完成此类任务。该方法合成的伪真实内容极难被传统检测方法区分。多数情况下，基于卷积神经网络（CNN）的判别器被用于检测此类合成媒体。然而，它主要强调单帧视频的空间属性，因而未能从帧间关系学习时序信息。本文利用基于光流的特征提取方法提取时序特征，随后将其输入混合模型进行分类。该混合模型基于CNN与循环神经网络（RNN）架构的组合。混合模型在DFDC、FF++和Celeb-DF等开源数据集上表现有效。所提方法在DFDC、FF++和Celeb-DF上分别取得66.26%、91.21%和79.49%的准确率，且样本量（帧数）大幅减少至约100个。这相比现有模态有望实现伪造内容的早期检测。
引用
@article{arxiv.2208.00788,
title = {A Hybrid CNN-LSTM model for Video Deepfake Detection by Leveraging Optical Flow Features},
author = {Pallabi Saikia and Dhwani Dholaria and Priyanka Yadav and Vaidehi Patel and Mohendra Roy},
journal= {arXiv preprint arXiv:2208.00788},
year = {2022}
}