基于动态原型的具可解释性与可信度的深度伪造检测
计算机视觉与模式识别
2021-01-18 v2 机器学习
摘要
本文提出一种新的人本方法，利用动态原型作为视觉解释的一种形式来检测人脸图像中的伪造。当前，大多数最先进的深度伪造检测基于黑盒模型，逐帧处理视频进行推理，极少仔细检查其时间不一致性。然而，深度伪造视频中此类时间伪影的存在，对于向监督人员检测和解释深度伪造至关重要。为此，我们提出动态原型网络（DPNet）——一种可解释且有效的解决方案，利用动态表示（即原型）来解释深度伪造的时间伪影。大量实验结果表明，DPNet 取得了有竞争力的预测性能，即使在未见测试数据集（如 Google 的 DeepFakeDetection、DeeperForensics 和 Celeb-DF）上也是如此，同时提供对深度伪造动态的简易参考性解释。在 DPNet 原型框架之上，我们进一步基于这些动态制定时间逻辑规范以检查模型对期望时间行为的遵从性，从而为此类关键检测系统提供可信度。
引用
@article{arxiv.2006.15473,
title = {Interpretable and Trustworthy Deepfake Detection via Dynamic Prototypes},
author = {Loc Trinh and Michael Tsang and Sirisha Rambhatla and Yan Liu},
journal= {arXiv preprint arXiv:2006.15473},
year = {2021}
}
备注
To appear in the 2021 IEEE Winter Conference on Applications of Computer Vision (WACV 21')