抑制梯度冲突以实现通用深伪造检测

鲁棒的深度伪造检测模型必须具备针对训练数据之外持续演化的操纵技术进行泛化的能力。一个有前景的策略是通过包含具有广泛可泛化工艺痕迹的在线综合假图像来增强训练数据。然而，在深度伪造检测领域，联合训练原始和在线综合的伪造图像会导致性能下降。这与将更多源域数据纳入训练中应提升检测准确度的常规信念相矛盾。通过经验分析，我们追溯到这种性能下降源于反向传播期间的梯度冲突，这迫使在源域准确度和目标域泛化之间进行权衡。为克服此问题，我们提出了抑制梯度冲突的深度伪造检测(CS-DFD)框架，通过两个协同的模块显式缓解梯度冲突。首先，更新向量搜索(UVS)模块在初始梯度向量附近搜索替代更新向量，以协调原始和在线综合伪造图像之间的差异。通过将搜索过程进一步转化为极值优化问题，UVS产生唯一的更新向量，该向量最大化每种数据类型的联合损失减少。其次，冲突梯度降低(CGR)模块通过一种新的冲突下降损失来实现低冲突特征嵌入空间。该损失对不一致的梯度方向进行惩罚，并引导学习具有对齐、无冲突梯度的表示。UVS和CGR的协同作用在参数优化和表示学习中缓解了梯度干扰。在多个深度伪造基准测试上进行的实验表明，CS-DFD在源域检测准确度和跨域泛化方面均实现了最先进的性能。