MMNet：面向序列深度伪造检测的多协作与多监督网络
计算机视觉与模式识别
2023-07-07 v1
摘要
先进的操纵技术为犯罪分子提供了通过生成欺骗性媒体（如伪造人脸图像）制造社会恐慌或获取非法利润的机会。作为应对，人们提出了各种深度伪造检测方法来评估图像真实性。序列深度伪造检测是深度伪造检测的扩展，旨在识别伪造面部区域并给出用于恢复的正确序列。然而，由于空间与序列操纵的不同组合，伪造人脸图像表现出显著差异，严重影响了检测性能。此外，伪造图像的恢复需要掌握操纵模型的知识以实施逆变换，而相关技术常被攻击者隐藏，难以确定。为解决这些问题，我们提出了多协作与多监督网络(Multi-Collaboration and Multi-Supervision Network, MMNet)，该网络处理伪造人脸图像中各种空间尺度与序列排列，并在无需对应操纵方法知识的情况下实现恢复。此外，现有评估指标仅考虑单步推理时的检测准确率，未考虑连续多步下与真实值的匹配程度。为克服该局限，我们提出了一种称为完整序列匹配(Complete Sequence Matching, CSM)的新评估指标，其考虑多步推理下的检测准确率，反映整体检测伪造序列的能力。在多个典型数据集上的大量实验表明，MMNet取得了最先进(state-of-the-art)的检测性能与独立的恢复性能。
引用
@article{arxiv.2307.02733,
title = {MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection},
author = {Ruiyang Xia and Decheng Liu and Jie Li and Lin Yuan and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2307.02733},
year = {2023}
}