真实、伪造与合成人脸——硬币有三面吗？
计算机视觉与模式识别
2024-04-03 v1 人工智能
摘要
随着生成式人工智能能力的不断增强，深度伪造和人工生成（合成）媒体持续在网上传播，这对其使用产生了各种伦理和道德问题。为此，我们提出了一种对真实、深度伪造和合成面部图像中观察到的趋势和模式的新探索。所提出的分析分为两部分：首先，我们整合了八个深度学习模型，并分析了它们在区分这三类图像方面的性能。接下来，我们通过研究整个图像以及图像内特定区域的图像属性，进一步深入探讨这三组图像之间的相似性和差异。还进行了ANOVA检验，进一步阐明了三类图像之间关联的模式。从我们的发现中，我们观察到所研究的深度学习模型更容易检测合成面部图像，其中ViT Patch-16模型在此任务上表现最佳，其类平均灵敏度、特异性、精确度和准确率分别为97.37%、98.69%、97.48%和98.25%。这一观察得到了对各种图像属性的进一步分析的支持。我们在三类图像之间看到了显著差异。这项分析可以帮助我们构建更好的面部图像生成算法，同时也表明合成、深度伪造和真实面部图像确实是三个不同的类别。
引用
@article{arxiv.2404.01878,
title = {Real, fake and synthetic faces -- does the coin have three sides?},
author = {Shahzeb Naeem and Ramzi Al-Sharawi and Muhammad Riyyan Khan and Usman Tariq and Abhinav Dhall and Hasan Al-Nashash},
journal= {arXiv preprint arXiv:2404.01878},
year = {2024}
}