合成痕迹掩盖真实内容：基于 Stable Diffusion 的图像洗钱分析
计算机视觉与模式识别
2024-07-16 v1 人工智能
多媒体
摘要
近年来，生成高度逼真合成图像的方法取得了显著进展，使可从描述所需内容的文本提示生成高质量图像。更令人惊叹的是，Stable Diffusion（SD）模型现在允许用户以图像到图像翻译方式创建合成图像，修改来自 advanced autoencoder 隐空间中的图像。这种惊人的演变带来了一个令人警觉的后果：通过SD自动编码器处理图像，可复制出高度逼真且几乎无视觉瑕疵的合成图像副本。这一过程称为SD图像洗钱（image laundering），可将真实图像转化为逼真的合成图像，从而可能使内容真实性验证的 forensic 分析变得复杂化。我们的论文调查了图像洗钱的 forensic 影响，揭示了其可能掩盖真实内容痕迹的严重潜力，包括可能被误分类为合成的敏感或有害材料，从而削弱了对所描绘个体保护的作用。为解决此问题，我们提出了两个阶段的检测管线，有效区分原始图像、洗钱后图像和完全合成图像（即从文本提示生成的图像），在各种条件下表现出鲁健性。最后，我们指出图像洕钱的另一令人警觉属性，即它会掩盖 forensic 检测器用于解决相机型号识别任务所利用的独特瑕疵，显著削弱其性能。我们的实验代码已公开于 https://github.com/polimi-ispl/synthetic-image-detection。
引用
@article{arxiv.2407.10736,
title = {When Synthetic Traces Hide Real Content: Analysis of Stable Diffusion Image Laundering},
author = {Sara Mandelli and Paolo Bestagini and Stefano Tubaro},
journal= {arXiv preprint arXiv:2407.10736},
year = {2024}
}