通过异常共运动模式检测揭露深度伪造视频
计算机视觉与模式识别
2020-08-12 v1 机器学习
图像与视频处理
摘要
近期基于深度学习的视频合成方法，特别是能够伪造身份（如“DeepFake”）的应用，引发了严重的安全担忧。因此，人们提出了相应的深度取证方法来应对该问题。然而，现有方法要么基于不可解释的深度网络，这极大削弱了媒体取证的核心可解释性因素，要么依赖于脆弱的图像统计特征（如噪声模式），在真实场景中易被数据压缩破坏。本文中，我们提出一种完全可解释的视频取证方法，专门设计用于揭露深度伪造视频。为增强对各类内容视频的泛化能力，我们对视频中多个特定空间位置的时间运动进行建模，以提取一种鲁棒且可靠的表示，称为共运动模式（Co-Motion Pattern）。此类联合模式挖掘于局部运动特征之间，独立于视频内容，从而也能大幅缓解实例层面的差异。更重要的是，我们提出的共运动模式兼具优越的可解释性以及对数据压缩的充分鲁棒性，可应对深度伪造视频。我们进行了大量实验，在分类与异常检测两种评估设定下，针对最先进的深度取证方法，实证展示了我们方法的优越性与有效性。
引用
@article{arxiv.2008.04848,
title = {Exposing Deep-faked Videos by Anomalous Co-motion Pattern Detection},
author = {Gengxing Wang and Jiahuan Zhou and Ying Wu},
journal= {arXiv preprint arXiv:2008.04848},
year = {2020}
}