基于CNN和CLIP的Defactify4人工智能生成图像的鲁健检测与来源识别
计算机视觉与模式识别
2025-03-17 v1 人工智能
摘要
随着生成式AI的快速发展，AI生成图像日益逼真，这引发了关于创造力、误information和内容真实性的担忧。检测此类图像并识别其来源模型已成为确保数字媒体完整性的关键挑战。本文采用CNN和CLIP-ViT分类器来解决AI生成图像的检测及其来源模型识别问题。对于CNN-based分类器，我们采用EfficientNet-B0作为主干网络，输入RGB通道、频率特征和重构误差；对于CLIP-ViT，我们采用预训练的CLIP图像编码器提取图像特征并使用SVM进行分类。在Defactify 4数据集上进行评估，我们的方法在两项任务中均显示出强大的性能，其中CLIP-ViT对图像扰动的鲁健性更佳。与AEROBLADE和OCC-CLIP等基线方法相比，我们的方法取得了具竞争力的结果。值得注意的是，我们的方法在Defactify 4竞赛中排名前三，凸显了其有效性和通用性。我们的所有实现均可在https://github.com/uuugaga/Defactify_4 查看。
引用
@article{arxiv.2503.10718,
title = {Team NYCU at Defactify4: Robust Detection and Source Identification of AI-Generated Images Using CNN and CLIP-Based Models},
author = {Tsan-Tsung Yang and I-Wei Chen and Kuan-Ting Chen and Shang-Hsuan Chiang and Wen-Chih Peng},
journal= {arXiv preprint arXiv:2503.10718},
year = {2025}
}