基于文本模态的图像特征提取方法用于检测扩散生成式深度伪造
计算机视觉与模式识别
2024-05-29 v1
摘要
扩散方法的广泛应用使得能够按需创建高度逼真的图像，这对在线信息的完整性和安全性构成显著风险，凸显了深度伪造检测的必要性。我们分析了由传统图像编码器提取的特征，发现低级特征和高级特征在识别由各种扩散方法生成的深度伪造图像方面各有优势。基于这一发现，我们旨在开发一种有效的表征方法，以捕捉低级和高级特征以检测基于扩散的深度伪造。为解决此问题，我们提出了一种称为TOFE的文本模态导向特征提取方法。具体而言，对于给定的目标图像，我们发现其对应的文本嵌入可用于引导特定文本到图像模型生成该目标图像。跨十种扩散类型的实验表明，我们提出的方法具有有效性。
引用
@article{arxiv.2405.18071,
title = {Text Modality Oriented Image Feature Extraction for Detecting Diffusion-based DeepFake},
author = {Di Yang and Yihao Huang and Qing Guo and Felix Juefei-Xu and Xiaojun Jia and Run Wang and Geguang Pu and Yang Liu},
journal= {arXiv preprint arXiv:2405.18071},
year = {2024}
}