ESOM：高效理解具有开放世界动态定义的流式视频异常
计算机视觉与模式识别
2026-04-10 v1
摘要
开放世界视频异常检测（OWVAD）旨在检测并解释不同异常定义下的异常事件，这对于智能监控和直播内容审核等应用至关重要。最近的大语言多模态模型（LLMM）方法在开放世界泛化方面表现前景广阔，但仍存在三个主要局限：针对实际部署的效率低下、缺乏流式处理适应性，以及在建模和评估中对动态异常定义的支持有限。为此，本文提出了ESOM——一个以训练-free方式运行的高效流式OWVAD模型。ESOM包括定义归一化模块用于结构化用户提示以减少幻觉、帧内token合并模块用于压缩冗余视觉token、混合流式记忆模块用于高效因果推理，以及概率评分模块将区间级文本输出转换为帧级异常得分。此外，本文引入了OpenDef-Bench——一个包含干净监控视频和多样化自然异常定义的新基准，用于评估在不同条件下的性能。大量实验表明，ESOM在单张GPU上实现实时效率，在异常时间局部化、分类和描述生成方面实现最先进的性能。代码和基准将在 https://github.com/Kamino666/ESOM_OpenDef-Bench 发布。
引用
@article{arxiv.2604.07772,
title = {ESOM: Efficiently Understanding Streaming Video Anomalies with Open-world Dynamic Definitions},
author = {Zihao Liu and Xiaoyu Wu and Wenna Li and Jianqin Wu and Linlin Yang},
journal= {arXiv preprint arXiv:2604.07772},
year = {2026}
}