CAE-Net：结合空间与频域特征及卷积与注意力机制的泛化深度伪造图像检测
计算机视觉与模式识别
2025-12-29 v3 机器学习
图像与视频处理
摘要
深度伪造的传播引发了严重的安全担忧，亟需可靠的检测方法。然而，多样的生成技术和数据集中的类别不平衡带来了挑战。我们提出了 CAE-Net，一种基于卷积和注意力的加权集成网络，结合空间和频域特征以实现有效的深度伪造检测。该架构集成了 EfficientNet、Data-Efficient Image Transformer (DeiT) 和 ConvNeXt 以及小波特征，以学习互补的表示。我们在多样化的 IEEE Signal Processing Cup 2025 (DF-Wild Cup) 数据集上评估了 CAE-Net，该数据集存在 5:1 的伪造与真实类别不平衡。为解决这一问题，我们引入了一种多阶段不相交子集训练策略，在伪造类的不重叠子集上顺序训练模型，同时在各阶段间保留知识。我们的方法达到了 的准确率和 的 AUC，优于传统的类别平衡方法。可视化结果证实该网络关注有意义的人脸区域，且我们的集成设计展现出对对抗攻击的鲁棒性，将 CAE-Net 定位为可靠且泛化的深度伪造检测框架。
引用
@article{arxiv.2502.10682,
title = {CAE-Net: Generalized Deepfake Image Detection using Convolution and Attention Mechanisms with Spatial and Frequency Domain Features},
author = {Anindya Bhattacharjee and Kaidul Islam and Kafi Anan and Ashir Intesher and Abrar Assaeem Fuad and Utsab Saha and Hafiz Imtiaz},
journal= {arXiv preprint arXiv:2502.10682},
year = {2025}
}
备注
Published in Journal of Visual Communication and Image Representation