使用可解释的成本敏感深度学习方法从视频中揭露 Deepfake 人脸
计算机视觉与模式识别
2023-12-19 v1 人工智能
摘要
Deepfake 技术被广泛使用，这引发了对数字媒体真实性的严重担忧，使得对可靠的 deepfake 人脸识别技术的需求比以往任何时候都更加迫切。本研究采用了一种资源高效且透明的成本敏感深度学习方法，以有效地检测视频中的 deepfake 人脸。为了创建可靠的 deepfake 检测系统，使用了四个预训练的卷积神经网络 (CNN) 模型：XceptionNet、InceptionResNetV2、EfficientNetV2S 和 EfficientNetV2M。使用 FaceForensics++ 和 CelebDf-V2 作为基准数据集来评估我们方法的性能。为了高效处理视频数据，关键帧提取被用作特征提取技术。我们的主要贡献是展示模型在正确识别视频中 deepfake 人脸方面的适应性和有效性。此外，应用了成本敏感神经网络方法来解决 deepfake 检测中频繁出现的数据集不平衡问题。在 CelebDf-V2 数据集上的 XceptionNet 模型使所提出的方法达到了 98% 的准确率，这是最高的可能准确率；而在 FaceForensics++ 数据集上，InceptionResNetV2 模型达到了 94% 的准确率。源代码：https://github.com/Faysal-MD/Unmasking-Deepfake-Faces-from-Videos-An-Explainable-Cost-Sensitive-Deep-Learning-Approach-IEEE2023
引用
@article{arxiv.2312.10740,
title = {Unmasking Deepfake Faces from Videos Using An Explainable Cost-Sensitive Deep Learning Approach},
author = {Faysal Mahmud and Yusha Abdullah and Minhajul Islam and Tahsin Aziz},
journal= {arXiv preprint arXiv:2312.10740},
year = {2023}
}