当手工特征与深度特征遭遇深度伪造检测中的训练与测试集不匹配
计算机视觉与模式识别
2022-09-28 v1 机器学习
摘要
合成视觉媒体生成与操纵的加速增长现已达到引发重大关切并对社会构成巨大威胁的程度。亟需自动检测网络来应对虚假数字内容并避免危险人工信息的传播，以抗衡这一威胁。在本文中，我们利用并比较了两种手工特征（SIFT 和 HoG）与两种深度特征（Xception 和 CNN+RNN）用于深度伪造检测任务。我们还检验了当训练集与测试集之间存在不匹配时这些特征的表现。评估在著名的 FaceForensics++ 数据集上执行，该数据集包含四个子数据集：Deepfakes、Face2Face、FaceSwap 和 NeuralTextures。最佳结果来自 Xception，当训练集和测试集均来自同一子数据集时准确率可超过 99\%。相比之下，当训练集与测试集不匹配时结果急剧下降。这一现象揭示了构建通用深度伪造检测系统的挑战。
引用
@article{arxiv.2209.13289,
title = {When Handcrafted Features and Deep Features Meet Mismatched Training and Test Sets for Deepfake Detection},
author = {Ying Xu and Sule Yildirim Yayilgan},
journal= {arXiv preprint arXiv:2209.13289},
year = {2022}
}