HFMF：面向 Deepfake 检测的分层融合与多流模型

深度生成模型的快速进步催生了极其逼真的合成图像，这些图像越来越难以与真实数据区分。变分模型、扩散模型和生成对抗网络的广泛使用使得生成令人信服的伪造图像和视频变得更加容易，这给检测和遏制虚假信息的传播带来了巨大挑战。因此，开发有效的 AI 生成伪造品检测方法已成为一项紧迫的任务。在我们的研究中，我们提出了 HFMF，这是一个全面的两阶段 deepfake 检测框架，它利用分层跨模态特征融合和多流特征提取来增强对最先进生成式 AI 模型所生成图像的检测性能。我们方法的第一部分通过分层特征融合机制整合了视觉 Transformer 和卷积网络。我们框架的第二部分结合了对象级信息和微调的卷积网络模型。随后，我们通过集成深度神经网络融合这两个部分的输出，从而实现稳健的分类性能。我们证明，我们的架构在多样的数据集基准上取得了卓越的性能，同时保持了校准性与可解释性。