通过 Token 级置换与混合探索无偏深伪造检测

泛化问题在深伪造检测中广受认可，是一项关键挑战。尽管前人认为泛化差距源于不同伪造方法之间的差异，但我们的调查发现，即使伪造无关因素发生变化，泛化问题仍可能出现。本文识别出两种可能导致检测器过拟合的偏见：位置偏见和内容偏见（如图1所示）。对于位置偏见，我们观察到检测器倾向于依赖图像中的特定位置（例如中心区域甚至无伪造的区域）。至于内容偏见，我们认为检测器可能误用与伪造无关的信息进行检测（例如背景、发型）。为干预这些偏见，本文提出两种通过变换器潜空间中 token 的置换与混合方法。置换分支在保持局部关联的同时，对每个图像的 token 及其位置嵌入进行重新排列。混合分支在同一 mini-batch 中随机选择两个相同标签的图像之间的 token 进行混合，以重新组合内容信息。在学习过程中，我们在特征空间和逻辑空间对不同分支的检测器输出进行对齐。应用用于特征的对比损失和用于逻辑的散度损失，以获得无偏特征表示和分类器。我们通过广泛的实验在常用评估数据集上演示并验证了该方法的有效性。