这段视频有何异常？深度伪造检测解释器比较
计算机视觉与模式识别
2021-05-14 v1
摘要
深度伪造（deepfake）是经计算机处理的视频，其中个体的面部被替换为另一人的面部。制作此类伪造的软件易于使用且日益流行，对个人声誉与公共安全造成严重威胁。随着越来越大数据集的发布，检测深度伪造的分类器质量有所提升，但对特定视频为何被标记为伪造的理解却未同步跟进。本工作中，我们开发、扩展并比较了用于解释真实与伪造视频标记的白盒、黑盒与模型专用技术。特别地，我们将SHAP、GradCAM与自注意力模型适配于解释基于EfficientNet训练的、在Deepfake Detection Challenge（DFDC）数据集上的最先进检测器的预测之任务。我们比较所得解释，提出量化其视觉特征与理想特性的指标，并开展了收集用户关于解释器有用性意见的用户调查。
引用
@article{arxiv.2105.05902,
title = {What's wrong with this video? Comparing Explainers for Deepfake Detection},
author = {Samuele Pino and Mark James Carman and Paolo Bestagini},
journal= {arXiv preprint arXiv:2105.05902},
year = {2021}
}
备注
8 pages, 12 figures