AWARE-NET：用于深度伪造检测的自适应加权平均鲁棒集成网络
计算机视觉与模式识别
2025-05-02 v1
摘要
由于合成媒体的兴起，深度伪造检测变得越来越重要，这对数字身份和网络空间的安全与信任构成了重大风险。虽然多种方法提高了检测精度，但在不同数据集和操纵类型上实现一致性能仍然存在挑战。为此，我们提出了一种新颖的基于深度学习的深度伪造检测两级集成框架，该框架分层组合了三种最先进架构的多个实例：Xception、Res2Net101和EfficientNet-B7。我们的框架采用了一种独特的方法，每种架构用不同的初始化实例化三次以增强模型多样性，然后通过一个可学习的加权机制动态组合它们的预测。与传统的固定权重集成不同，我们的第一级在每个架构家族内平均预测以降低模型方差，而第二级通过反向传播学习最优贡献权重，根据每种架构的检测可靠性自动调整其影响。我们的实验在没有数据增强的情况下，取得了最先进的同数据集性能，AUC分数分别为99.22%（FF++）和100.00%（CelebDF-v2），F1分数分别为98.06%（FF++）和99.94%（CelebDF-v2）。使用数据增强后，我们取得了AUC分数99.47%（FF++）和100.00%（CelebDF-v2），以及F1分数98.43%（FF++）和99.95%（CelebDF-v2）。该框架展示了鲁棒的跨数据集泛化能力，在跨数据集评估中取得了88.20%和72.52%的AUC分数，以及93.16%和80.62%的F1分数。
引用
@article{arxiv.2505.00312,
title = {AWARE-NET: Adaptive Weighted Averaging for Robust Ensemble Network in Deepfake Detection},
author = {Muhammad Salman and Iqra Tariq and Mishal Zulfiqar and Muqadas Jalal and Sami Aujla and Sumbal Fatima},
journal= {arXiv preprint arXiv:2505.00312},
year = {2025}
}