Flashback：记忆驱动的零样本实时视频异常检测
计算机视觉与模式识别
2025-05-26 v2
摘要
视频异常检测（VAD）自动从视频中识别异常事件，减轻大规模监控部署中对人工操作员的依赖。然而，两个根本性障碍阻碍了其实际应用：域依赖性和实时性限制——需要对 incoming 视频实现近乎即时处理。为此，我们提出了 Flashback，一种零样本且实时的视频异常检测范式。受人类认知机制启发，即时基于过去经验对当前场景中的异常进行判断和推理，Flashback 在两个阶段中运行：回忆与响应。在离线回忆阶段，一个即插即用的大语言模型（LLM）构建包含正常与异常视频描述的伪场景记忆，完全不依赖真实的异常数据。在在线响应阶段，incoming 视频片段被嵌入并通过相似性搜索与该记忆匹配。通过在推理时消除所有 LLM 调用，Flashback 即使在消费级 GPU 上也能实现实时视频异常检测。在来自真实监控场景的两个大型数据集上，UCF-Crime 和 XD-Violence，我们分别实现了 87.3 AUC（提升 7.0 分）和 75.1 AP（提升 13.1 分），显著优于现有的零样本视频异常检测方法。
引用
@article{arxiv.2505.15205,
title = {Flashback: Memory-Driven Zero-shot, Real-time Video Anomaly Detection},
author = {Hyogun Lee and Haksub Kim and Ig-Jae Kim and Yonghun Choi},
journal= {arXiv preprint arXiv:2505.15205},
year = {2025}
}
备注
12 pages, 5 figures