FDFtNet：利用假图检测微调网络甄别伪造图像
计算机视觉与模式识别
2020-08-11 v2
摘要
由于生成对抗网络（GANs）的进步，如今制作“Deepfake”等伪造图像和视频变得容易得多。此外，少样本学习等近期研究仅用少量图像即可生成高度逼真的个性化伪造图像。因此，Deepfake 被用于传播伪造图像和视频等多种恶意意图的威胁变得普遍。并且检测这些机器生成的伪造图像比以往更具挑战性。在本工作中，我们提出了一种轻量级鲁棒微调神经网络分类器架构，称为假图检测微调网络（FDFtNet），它能够检测许多新型伪造人脸图像生成模型，并且可轻松与现有图像分类网络结合并在少量数据集上微调。与许多现有方法不同，我们的方法旨在复用流行的预训练模型，仅用少量图像进行微调以有效检测伪造图像。我们方法的核心在于引入一种基于图像的自注意力模块，称为 Fine-Tune Transformer，其仅使用注意力模块和下采样层。该模块被添加到预训练模型中，并在少量数据上微调，以搜索新的特征空间集合来检测伪造图像。我们在基于 GANs 的数据集（Progressive Growing GAN）和基于 Deepfake 的数据集（Deepfake 和 Face2Face）上以 64x64 的小输入图像分辨率（这增加了检测难度）对 FDFtNet 进行了实验。我们的 FDFtNet 在检测基于 GANs 的数据集生成的伪造图像上达到了 90.29% 的总体准确率，优于当前最优方法。
引用
@article{arxiv.2001.01265,
title = {FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network},
author = {Hyeonseong Jeon and Youngoh Bang and Simon S. Woo},
journal= {arXiv preprint arXiv:2001.01265},
year = {2020}
}
备注
IFIP-Sec 2020