基于块方法的遮挡图像 Deepfake 检测
计算机视觉与模式识别
2023-04-11 v1
摘要
DeepFake 涉及使用深度学习和人工智能技术来生成或更改通常由 GAN 生成的视频和图像内容。此外，它可能被滥用并导致虚假新闻、伦理与金融犯罪，还会影响人脸识别系统的性能。因此，检测真实或伪造图像尤为重要，特别是用于认证人物图像或视频的原始性。该课题中最重要的挑战之一是遮挡会降低系统精度。在本研究中，我们提出一种利用整张人脸和人脸块在存在遮挡情况下区分真实/伪造图像的深度学习方法，采用三路径决策：第一为整脸推理，第二为基于人脸块特征向量拼接的决策，第三为基于这些特征的多数投票决策。为测试我们的方法，创建了包含真实与伪造图像的新数据集。为生成伪造图像，使用 FFHQ 图像训练 StyleGAN 和 StyleGAN2，并使用 CelebA 图像训练 StarGAN 和 PGGAN。CelebA 和 FFHQ 数据集被用作真实图像。所提方法在较早 epoch 即取得高于其他方法的结果，并在不同构建的数据集上将 SOTA 结果提升 0.4%–7.9%。此外，我们在实验结果表明对块进行加权可能提高准确率。
引用
@article{arxiv.2304.04537,
title = {Deepfake Detection of Occluded Images Using a Patch-based Approach},
author = {Mahsa Soleimani and Ali Nazari and Mohsen Ebrahimi Moghaddam},
journal= {arXiv preprint arXiv:2304.04537},
year = {2023}
}