DETER：检测编辑区域以遏制生成式篡改
计算机视觉与模式识别
2023-12-19 v1
摘要
近年来，生成式 AI 的能力大幅提升，引发了人们对生成数据或“深度伪造”潜在恶意使用的新担忧。然而，深度伪造数据集未能跟上生成式 AI 的进步，不足以支持开发能够在真实场景中有效向人类用户发出警报的深度伪造检测技术。现有数据集通常使用基于 GAN 的模型，并通过始终编辑相似的面部区域引入了虚假相关性。为了弥补这些不足，我们引入了 DETER，一个用于检测编辑图像区域并遏制现代先进生成式篡改的大规模数据集。DETER 包含 300,000 张图像，由四个最先进的生成器通过三种编辑操作进行篡改：换脸（一种标准的粗粒度图像篡改）、图像修复（深度伪造数据集中的一种新型篡改）和属性编辑（一种微妙的细粒度篡改）。虽然换脸和属性编辑在眼睛和鼻子等相似的面部区域进行，但图像修复操作可以在随机图像区域进行，从而消除了以往数据集的虚假相关性。我们进行了仔细的图像后处理，以确保 DETER 中的深度伪造看起来逼真；人类研究证实，人类在 DETER 上的深度伪造检测率比在其他伪造数据集上低 20.4%。借助该数据集，我们利用丰富的标注和改进的基准协议进行了大量实验和详细分析，揭示了开发可靠的区域伪造检测模型的未来方向和下一系列挑战。
引用
@article{arxiv.2312.10539,
title = {DETER: Detecting Edited Regions for Deterring Generative Manipulations},
author = {Sai Wang and Ye Zhu and Ruoyu Wang and Amaya Dharmasiri and Olga Russakovsky and Yu Wu},
journal= {arXiv preprint arXiv:2312.10539},
year = {2023}
}
备注
First two authors contribute equally to this work. Project page at https://deter2024.github.io/deter/