Trinity探测器：基于文本辅助和注意力机制的扩散生成图像检测
计算机视觉与模式识别
2024-04-29 v1
摘要
人工智能生成内容（AIGC）技术，以文本到图像生成为代表，导致深度伪造的恶意用途增多，引发对多媒体内容可信度的担忧。将传统伪造检测方法应用于扩散模型方面存在挑战。因此，本文提出了一种专为扩散模型设计的伪造检测方法，称为Trinity探测器。Trinity探测器通过CLIP编码器将粗粒度文本特征与像素域中的细粒度人工痕迹相结合，实现了全面的多模态检测。为提高对扩散生成图像特征的敏感性，设计了一种多光谱通道注意力融合单元（MCAF），通过对不同频率带的自适应融合提取频谱不一致性，并进一步整合两种模态的空间共现。大量实验表明，我们的Trinity探测器方法优于Several state-of-the-art方法，在所有数据集上性能都具有竞争力，在扩散数据集上的迁移性提升最高可达17.6%。
引用
@article{arxiv.2404.17254,
title = {Trinity Detector:text-assisted and attention mechanisms based spectral fusion for diffusion generation image detection},
author = {Jiawei Song and Dengpan Ye and Yunming Zhang},
journal= {arXiv preprint arXiv:2404.17254},
year = {2024}
}