通过精确几何特征提升 Deepfakes 检测的效率和鲁棒性
计算机视觉与模式识别
2021-04-12 v1
摘要
Deepfakes 是一类将目标人脸移植到视频中原始人脸的恶意技术，导致版权侵犯、信息混乱甚至公众恐慌等严重问题。以往 Deepfakes 视频检测的努力主要集中于表观特征，存在被精巧篡改绕过的风险，同时也导致模型复杂度高且对噪声敏感。此外，如何挖掘并利用被篡改视频的时间特征仍是一个开放问题。我们提出了一种名为 LRNet 的高效鲁棒框架，通过对精确几何特征进行时间建模来检测 Deepfakes 视频。设计了一种新颖的校准模块以增强几何特征的精度，使其更具判别性，并构建了双流循环神经网络（RNN）以充分挖掘时间特征。相较以往方法，我们所提方法更轻量且更易训练。此外，我们的方法在检测高度压缩或含噪损坏视频时表现出鲁棒性。我们的模型在 FaceForensics++ 数据集上取得了 0.999 的 AUC。同时，在面对高度压缩视频时其性能优雅地下降（-0.042 AUC）。
引用
@article{arxiv.2104.04480,
title = {Improving the Efficiency and Robustness of Deepfakes Detection through Precise Geometric Features},
author = {Zekun Sun and Yujie Han and Zeyu Hua and Na Ruan and Weijia Jia},
journal= {arXiv preprint arXiv:2104.04480},
year = {2021}
}
备注
IEEE/CVF Conference on Computer Vision and Pattern Recognition 2021 (CVPR 2021)