基于深度学习的深度伪造检测：卷积神经网络与 Transformers 之比较
密码学与安全
2023-04-10 v1 计算机视觉与模式识别
机器学习
摘要
深度伪造生成技术的快速发展正严重威胁媒体信息的可信度。其对目标个人与机构造成的后果可能是严重的。在本文中，我们研究了深度学习架构的演进，特别是 CNN 与 Transformers。我们确定了八种有前景的深度学习架构，设计并开发了我们的深度伪造检测模型，并在公认的深度伪造数据集上进行了实验。这些数据集包括最新的第二代与第三代深度伪造数据集。我们评估了所开发的单模型检测器在深度伪造检测与跨数据集评估中的有效性。在 FF++ 2020、Google DFD、Celeb-DF、Deeper Forensics 与 DFDC 深度伪造的检测中，我们分别取得了 88.74%、99.53%、97.68%、99.73% 与 92.02% 的准确率，以及 99.95%、100%、99.88%、99.99% 与 97.61% 的 AUC。我们还识别并展示了 CNN 与 Transformers 模型的独特优势，并分析了不同深度伪造数据集之间观察到的关联，以助益该领域的未来发展。
引用
@article{arxiv.2304.03698,
title = {Deepfake Detection with Deep Learning: Convolutional Neural Networks versus Transformers},
author = {Vrizlynn L. L. Thing},
journal= {arXiv preprint arXiv:2304.03698},
year = {2023}
}
备注
IEEE Cyber Security and Resilience Conference 2023