事实证明我不是真实的：面向 AI 生成视频的稳健检测
计算机视觉与模式识别
2024-06-17 v1
摘要
生成模型在制作高质量视频方面取得了令人瞩目的成就，这引发了关于数字完整性和隐私漏洞的担忧。最近的工作开发了针对 GAN 生成样本的检测器，准确率很高。然而，这些检测器在探测由视频创建工具（如 OpenAI 的 SORA、Runway Gen-2 和 Pika 等）生成的扩散生成视频时的鲁棒性仍未探索。本文提出了一种新框架，用于检测来自多种最先进（SOTA）生成模型生成的视频，如 Stable Video Diffusion。我们发现，针对扩散生成图像的 SOTA 方法在识别扩散生成视频时缺乏鲁棒性。我们的分析表明，这些检测器在应用于域外视频时效果下降，主要是因为它们难以跟踪帧之间的时间特征和动态变化。为解决上述问题，我们收集了一个新的基准视频数据集，用于扩散生成视频，采用多种 SOTA 视频创建工具。我们提取来自扩散模型的显式知识，用于视频帧的表示，并使用 CNN + LSTM 架构训练检测器。评估显示，我们的框架能够很好地捕捉帧之间的时间特征，实现了 93.7% 的检测准确率（针对域内视频），并将域外视频的准确率提升了最高 16 个百分点。
引用
@article{arxiv.2406.09601,
title = {Turns Out I'm Not Real: Towards Robust Detection of AI-Generated Videos},
author = {Qingyuan Liu and Pengyuan Shi and Yun-Yun Tsai and Chengzhi Mao and Junfeng Yang},
journal= {arXiv preprint arXiv:2406.09601},
year = {2024}
}