TGIF：文本引导 inpainting 伪造数据集
计算机视觉与模式识别
2024-10-07 v2 人工智能
密码学与安全
多媒体
摘要
数字图像编辑日益易于且逼真，得益于生成式AI技术的出现。近期发展使得文本引导 inpainting成为可能，用户只需轻松即可进行复杂图像编辑。这为数字媒体 forensics带来了新挑战。例如，基于扩散模型的方法可能将 inpainted区域嵌入原始图像，或重新生成整个图像。在后一种情况下，传统图像伪造定位(IFL)方法通常会失败。本文引入Text-Guided Inpainting Forgery(TGIF)数据集，这是一个全面的图像集合，旨在支持图像伪造定位和人工合成图像检测(SID)方法的训练和评估。TGIF数据集包括约75k张伪造图像，源自流行的开源和商业方法，包括SD2、SDXL和Adobe Firefly。我们对TGIF上的多个最先进的IFL和SID方法进行基准测试。而传统IFL方法可检测被接合的图像，但无法检测重新生成的inpainted图像。此外，传统SID可能检测到重新生成的inpainted图像为伪造，但无法定位inpainted区域。最后，在面对更强压缩时，IFL和SID方法都会失败，而它们对现代压缩算法，如WEBP，鲁棒性较差。总之，本工作表明了最先进检测器在现代生成方法执行的局部操纵上的效率低下，并期望帮助开发更具能力的IFL和SID方法。该数据集和代码可在https://github.com/IDLabMedia/tgif-dataset下载获取。
关键词
引用
@article{arxiv.2407.11566,
title = {TGIF: Text-Guided Inpainting Forgery Dataset},
author = {Hannes Mareen and Dimitrios Karageorgiou and Glenn Van Wallendael and Peter Lambert and Symeon Papadopoulos},
journal= {arXiv preprint arXiv:2407.11566},
year = {2024}
}
备注
6 pages, accepted at IEEE WIFS 2024