基于音视频异常检测的自监督视频取证
计算机视觉与模式识别
2023-03-29 v2
摘要
被操纵的视频常在其视觉与音频信号间包含细微的不一致。我们提出一种基于异常检测的视频取证方法，可识别这些不一致，且可仅使用真实的、无标签的数据进行训练。我们训练一个自回归模型来生成音视频特征序列，所用特征集捕捉视频帧与声音间的时间同步。在测试时，我们将模型赋予低概率的视频标记为异常。尽管完全在真实视频上训练，我们的模型在检测被操纵语音视频的任务上取得了强劲性能。项目主页：https://cfeng16.github.io/audio-visual-forensics
引用
@article{arxiv.2301.01767,
title = {Self-Supervised Video Forensics by Audio-Visual Anomaly Detection},
author = {Chao Feng and Ziyang Chen and Andrew Owens},
journal= {arXiv preprint arXiv:2301.01767},
year = {2023}
}
备注
CVPR 2023