VideoFACT：利用注意力、场景上下文和取证痕迹检测视频伪造
计算机视觉与模式识别
2023-03-14 v2 人工智能
摘要
虚假视频是一种重要的虚假信息威胁。尽管现有的取证网络在图像伪造上表现出色，但最近在Adobe VideoSham数据集上报告的结果表明，这些网络无法识别视频中的虚假内容。在本文中，我们证明这是由于视频编码将局部变化引入取证痕迹所致。为此，我们提出了VideoFACT——一种能够检测和定位多种视频伪造与篡改的新网络。为了克服现有网络在分析视频时面临的挑战，我们的网络利用取证嵌入来捕捉篡改留下的痕迹，利用上下文嵌入来控制视频编码引入的取证痕迹变化，并利用深度自注意力机制来估计局部取证嵌入的质量和相对重要性。我们创建了多个新的视频伪造数据集，并结合公开可用的数据，通过实验评估了我们网络的性能。这些结果表明，我们提出的网络能够识别多种视频伪造，包括那些在训练期间未遇到的类型。此外，我们证明我们的网络可以进行微调，以在具有挑战性的基于AI的篡改上实现更强的性能。
引用
@article{arxiv.2211.15775,
title = {VideoFACT: Detecting Video Forgeries Using Attention, Scene Context, and Forensic Traces},
author = {Tai D. Nguyen and Shengbang Fang and Matthew C. Stamm},
journal= {arXiv preprint arXiv:2211.15775},
year = {2023}
}