论生成式 AI 领域中 DCT 痕迹的利用
计算机视觉与模式识别
2024-10-04 v3 机器学习
摘要
Deepfakes 代表了网络安全和数字取证领域中最严峻的挑战之一，特别是考虑到近期基于生成式 AI 的解决方案所获得的高质量结果。几乎所有生成模型都会在合成数据中留下独特的痕迹，如果对这些痕迹进行详细分析和识别，可以用来改善现有 deepfake 检测器的泛化局限性。在本文中，我们分析了由 GAN 和 Diffusion Model 引擎生成的频域 deepfake 图像，详细检查了离散余弦变换（DCT）系数的底层统计分布。认识到并非所有系数对图像检测的贡献相等，我们假设存在嵌入在系数特定组合中的独特“判别性指纹”。为了识别它们，我们在各种系数组合上训练了机器学习分类器。此外，使用可解释 AI（XAI）LIME 算法来搜索系数的内在判别性组合。最后，我们进行了鲁棒性测试，通过应用 JPEG 压缩来分析痕迹的持久性。实验结果揭示了生成模型留下的痕迹在 JPEG 攻击下更具判别性和持久性。代码和数据集可在 https://github.com/opontorno/dcts_analysis_deepfakes 获取。
引用
@article{arxiv.2402.02209,
title = {On the Exploitation of DCT-Traces in the Generative-AI Domain},
author = {Orazio Pontorno and Luca Guarnera and Sebastiano Battiato},
journal= {arXiv preprint arXiv:2402.02209},
year = {2024}
}