基于关键帧的视频事件修复用于视频异常检测
计算机视觉与模式识别
2023-04-12 v1
摘要
视频异常检测（VAD）是一个重要的计算机视觉问题。现有基于深度神经网络（DNN）的 VAD 方法大多遵循帧重建或帧预测的思路。然而，对视频中更高层视觉特征与时间上下文关系挖掘与学习的缺乏，限制了这两类方法的进一步提升。受视频编解码理论启发，我们引入一种全新的 VAD 范式以突破这些局限：首先，我们提出一项基于关键帧的视频事件修复新任务。鼓励 DNN 基于视频关键帧推断缺失的多帧从而修复一个视频事件，这能更有效地激励 DNN 挖掘并学习视频中潜在的高层视觉特征与综合时间上下文关系。为此，我们提出一种带双跳跃连接的新型 U 形 Swin Transformer 网络（USTN-DSC）用于视频事件修复，其中引入交叉注意力与时间上采样残差跳跃连接以进一步辅助修复视频中复杂的静态与动态运动目标特征。此外，我们提出一种简单有效的相邻帧差分损失来约束视频序列的运动一致性。在基准数据集上的大量实验表明，USTN-DSC 优于多数现有方法，验证了我们所提方法的有效性。
引用
@article{arxiv.2304.05112,
title = {Video Event Restoration Based on Keyframes for Video Anomaly Detection},
author = {Zhiwei Yang and Jing Liu and Zhaoyang Wu and Peng Wu and Xiaotao Liu},
journal= {arXiv preprint arXiv:2304.05112},
year = {2023}
}
备注
Accepted by CVPR 2023