通过对比学习和全局-局部相似性对抗深度伪造
计算机视觉与模式识别
2024-07-31 v1 人工智能
多媒体
摘要
区分真实内容与由先进 AI 方法生成的内容已变得日益具有挑战性。虽然先前的研究主要关注人脸伪造的检测，但最近才开始探索识别由生成模型生成的自然图像的解决方案。这促使最近的研究探索使用诸如 CLIP 等 foundation vision-and-language 模型。然而，CLIP 嵌入空间是为全局图像到文本对齐优化的，本身并非为深度伪造检测设计，忽略了针对性训练和局部图像特征的潜在好处。在本研究中，我们提出了 CoDE (Contrastive Deepfake Embeddings)，即一种专为深度伪造检测而设计的嵌入空间。CoDE 通过对比学习进行训练，同时额外强制实现全局-局部相似性。为维持我们的模型训练，我们生成了一个全面的数据集，聚焦于由扩散模型生成的图像，包含使用四种不同生成器所产生的 920 万张图像。实验结果表明，CoDE 在新收集的数据集上实现了最先进的准确率，同时在面对未见图像生成器时也表现出色的泛化能力。我们的源代码、训练好的模型和收集的数据集已公开提供于：https://github.com/aimagelab/CoDE。
引用
@article{arxiv.2407.20337,
title = {Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities},
author = {Lorenzo Baraldi and Federico Cocchi and Marcella Cornia and Lorenzo Baraldi and Alessandro Nicolosi and Rita Cucchiara},
journal= {arXiv preprint arXiv:2407.20337},
year = {2024}
}
备注
ECCV 2024