面向 Deepfake 检测的块洗牌学习
计算机视觉与模式识别
2023-07-14 v2 人工智能
摘要
基于卷积神经网络（CNN）的 Deepfake 检测方法已展现出高准确率。\textcolor{black}{然而，这些方法在面对未知伪造方法以及缩放、模糊等常见变换时性能常下降，导致训练与测试域间偏差。}此现象称为过拟合，构成重大挑战。为解决该问题，我们提出一种新颖的块洗牌正则化方法。首先，我们的方法将图像分块并应用块内与块间洗牌技术，该过程间接实现了不同维度上的权值共享。其次，我们引入对抗损失算法以缓解洗牌噪声引起的过拟合问题。最后，我们恢复块的空间布局以捕捉块间语义关联。大量实验验证了所提方法的有效性，其在伪造人脸检测上超越现有方法。值得注意的是，我们的方法展现出优异的泛化能力，对跨数据集评估与常见图像变换具有鲁棒性。尤其我们的方法可轻松集成于各类 CNN 模型。源代码发布于 \href{https://github.com/NoWindButRain/BlockShuffleLearning}{Github}。
引用
@article{arxiv.2202.02819,
title = {Block shuffling learning for Deepfake Detection},
author = {Sitong Liu and Zhichao Lian and Siqi Gu and Liang Xiao},
journal= {arXiv preprint arXiv:2202.02819},
year = {2023}
}