利用多色彩空间融合EfficientNet区分自然图像与计算机生成图像

区分自然图像与逼真的计算机生成图像的问题，以往要么针对自然图像与计算机图形图像，要么针对自然图像与GAN图像分别进行。但在真实的图像取证场景中，由于在大多数情况下图像的生成方式是未知的，因此考虑所有类别的图像生成方式至关重要。据我们所知，我们首次将区分自然图像与逼真的计算机生成图像的问题作为三分类任务来处理，即将自然图像、计算机图形图像和GAN图像进行分类。针对该任务，我们提出了一种多色彩空间融合EfficientNet模型，通过并行融合三个遵循迁移学习方法的EfficientNet网络，其中每个网络在不同的色彩空间（RGB、LCH和HSV）中运行，这些色彩空间是在分析了各种色彩空间变换在此图像取证问题中的有效性后选出的。我们的模型在准确率、对后处理的鲁棒性以及对其他数据集的泛化能力方面均优于基线模型。我们进行了心理物理学实验，以了解人类区分自然图像、计算机图形图像和GAN图像的准确度，我们观察到人类在分类这些图像时存在困难，尤其是计算机生成的图像，这表明了针对该任务开发计算算法的必要性。我们还通过视觉解释分析了模型的行为，以了解促成模型决策的显著区域，并将其与人类参与者以区域标记形式提供的人工解释进行了比较，我们观察到两种解释之间存在相似性，表明我们的模型具有有意义地做出决策的强大能力。