MD-CSDNetwork：用于深度伪造检测的多域交叉缝合网络
计算机视觉与模式识别
2021-09-16 v1
摘要
在社交平台上创建和传播超真实媒体的便捷性迅速发展，迫切需要对通用化的深度伪造检测技术进行开发。据观察，当前的深度伪造生成方法会在伪造图像和视频的频谱中留下可判别的伪影。受此观察启发，本文提出一种称为MD-CSDNetwork的新方法，通过结合空间域和频率域的特征来挖掘用于分类深度伪造（deepfakes）的共享判别表示。MD-CSDNetwork是一种新颖的交叉缝合网络，具有分别承载空间和频率信息的两个并行分支。我们假设这些多域输入数据流可被视为相关的监督信号。来自两个分支的监督确保了更好的性能和泛化能力。此外，利用了交叉缝合连接的概念，将其插入两个分支之间，以自动学习来自其他域的域特定表示与共享表示的最优组合。在流行的基准数据集FaceForensics++上进行了广泛的伪造分类实验。我们报告了在FaceForensics++数据集上所有操纵类型的改进，以及在Celeb-DF数据集和Deepfake Detection Dataset上跨数据库评估中与最先进方法（state-of-the-art）相当的结果。
引用
@article{arxiv.2109.07311,
title = {MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake Detection},
author = {Aayushi Agarwal and Akshay Agarwal and Sayan Sinha and Mayank Vatsa and Richa Singh},
journal= {arXiv preprint arXiv:2109.07311},
year = {2021}
}
备注
8 pages