从特定到普遍：重新审视人脸深度伪造检测中的通用性artifact

检测深度伪造图像是一个日益重要的话题，尤其是鉴于AI生成技术的快速发展。本文提出了一个问题：如何构建一个对大多数人脸深度伪造有效的通用检测框架？一个重要挑战是深度伪造生成器种类繁多，导致不同的伪造artifact各不相同（例如，光照不一致、颜色错位等）。但我们是否应该“教”检测器分别学习这些artifact呢？这不可能也不实用。因此，核心思想是揭示不同深度伪造中更常见且更普遍的artifact。为此，我们将深度伪造artifact分为两种互补的类型：面部不一致artifact（Face Inconsistency Artifacts, FIA）和上采样artifact（Up-Sampling Artifacts, USA）。FIA源于生成器在生成所有细节方面的挑战，必然导致复杂面部特征与相对均匀的周围区域之间的不一致。USA则是生成器在上采样过程中留下的必然痕迹。这一分类源于我们观察到的所有现有深度伪造都呈现一种或两种上述artifact。为实现这一目标，我们提出了一种新的数据级伪造创建框架，用于构建仅包含FIA和USA的伪造样本，而不会引入额外的较少普遍的artifact。具体而言，我们采用超分辨率技术模拟USA，同时设计一个Blender模块，该模块利用面部区域的图像级自混合来创建FIA。我们惊讶地发现，通过这种直观的设计，仅用我们的伪造数据训练的标准图像分类器能够对未见过的深度伪造实现良好的泛化。