利用多色彩空间增强视觉Transformer区分自然图像与计算机生成图像的鲁棒图像取证框架
计算机视觉与模式识别
2024-11-19 v2
摘要
文献中基于数字图像取证、对自然图像与计算机生成图像进行分类的研究工作主要聚焦于二分类任务。这些任务通常仅涉及自然图像与计算机图形学图像的分类，或仅涉及自然图像与GAN生成图像的分类，而非同时针对这两类生成图像与自然图像进行分类。此外，尽管先进的卷积神经网络和基于Transformer的架构能够在此区分自然与计算机生成图像的取证分类任务中取得令人印象深刻的分类准确率，但这些模型在面对经过旨在欺骗取证算法的后处理操作（如JPEG压缩、高斯噪声添加等）的图像时会失效。在这项基于数字图像取证、区分自然图像与涵盖计算机图形学和GAN生成图像的工作里，我们提出了一种利用增强视觉Transformer的鲁棒取证分类器框架。通过在RGB和YCbCr色彩空间中运行的网络采用融合方法，我们实现了更高的分类准确率以及对JPEG压缩和高斯噪声添加等后处理操作的鲁棒性。我们的方法优于基线模型，以94.25%的测试准确率表现出色，并在各类别准确率上取得显著提升。特征表示与注意力图的可视化揭示了改进的可分离性以及针对取证任务的相关信息捕获能力的提升。本工作通过提供一种通用且具韧性的自然与生成图像区分方案，推进了图像取证领域的先进水平。
引用
@article{arxiv.2308.07279,
title = {A Robust Image Forensic Framework Utilizing Multi-Colorspace Enriched Vision Transformer for Distinguishing Natural and Computer-Generated Images},
author = {Manjary P. Gangan and Anoop Kadan and Lajish V L},
journal= {arXiv preprint arXiv:2308.07279},
year = {2024}
}