基于 CLIP 的鲁棒检测器以揭示扩散模型生成的图像
计算机视觉与模式识别
2024-09-10 v2 机器学习
图像与视频处理
摘要
扩散模型（DMs）彻底改变了图像生成领域，能够生成跨越各个领域应用的高质量图像。然而，其创建超逼真图像的能力在区分真实内容与合成内容方面提出了重大挑战，引发了对数字真实性和潜在 deepfake 滥用的担忧。本工作引入了一个鲁棒的检测框架，将 CLIP 模型提取的图像与文本特征与多层感知机（MLP）分类器相集成。我们提出了一种新的损失函数，可以提高检测器的鲁棒性并处理不平衡数据集。此外，我们在模型训练期间平坦化损失景观，以提高检测器的泛化能力。通过大量实验证明了我们方法的有效性，其优于传统检测技术，凸显了其在 DM 生成图像检测中确立新的 SOTA 方法的潜力。代码可在 https://github.com/Purdue-M2/Robust_DM_Generated_Image_Detection 获取。
引用
@article{arxiv.2404.12908,
title = {Robust CLIP-Based Detector for Exposing Diffusion Model-Generated Images},
author = {Santosh and Li Lin and Irene Amerini and Xin Wang and Shu Hu},
journal= {arXiv preprint arXiv:2404.12908},
year = {2024}
}