利用 H.264 运动向量的高效时间感知 DeepFake 检测
计算机视觉与模式识别
2024-02-26 v2 人工智能
摘要
视频 DeepFake 是利用深度学习（DL）生成的伪造媒体，用于操纵人的表情或身份。当前多数 DeepFake 检测方法独立分析每一帧，忽略了帧间的不一致与不自然运动。一些较新方法采用光流模型捕捉此时间特性，但计算开销大。相比之下，我们提出使用 H.264 视频编解码中相关却常被忽视的运动向量（MVs）与信息掩码（IMs）来检测 DeepFake 中的时间不一致性。我们的实验表明，与逐帧仅 RGB 方法相比，该方法有效且计算成本极低。这有望催生用于视频通话与流媒体的新型实时时间感知 DeepFake 检测方法。
引用
@article{arxiv.2311.10788,
title = {Efficient Temporally-Aware DeepFake Detection using H.264 Motion Vectors},
author = {Peter Grönquist and Yufan Ren and Qingyi He and Alessio Verardo and Sabine Süsstrunk},
journal= {arXiv preprint arXiv:2311.10788},
year = {2024}
}