扩散深度伪造

生成式AI的最新进展，主要通过扩散模型，给现实世界的深度伪造检测带来了重大挑战。图像细节真实感的增强、内容的多样性以及向公众的广泛可及性，使得识别这些复杂的深度伪造变得更加困难。认识到当前深度伪造检测器面对这一不断演变的威胁的脆弱性，我们的论文引入了两个由最先进扩散模型生成的大规模深度伪造数据集，因为其他数据集多样性不足且质量较低。我们的广泛实验还表明，我们的数据集比其他面部深度伪造数据集更具挑战性。我们的战略性数据集创建不仅挑战了深度伪造检测器，还为更全面的评估设立了新基准。我们的全面评估揭示了现有检测方法的困境，这些方法通常针对特定图像域和操作进行优化，难以有效适应扩散深度伪造的复杂性质，限制了其实用性。为解决这一关键问题，我们研究了增加训练数据多样性对代表性检测方法的影响。这涉及扩展操作技术和图像域的多样性。我们的研究结果强调，增加训练数据多样性可提高泛化能力。此外，我们提出了一种新颖的动量难度提升策略，以应对训练数据异质性带来的额外挑战。该策略根据学习难度动态分配适当的样本权重，增强了模型对简单和困难样本的适应性。在现有和新提出的基准上的大量实验表明，我们的模型优化方法显著优于之前的替代方案。