基于结构化关键词的视频异常检测

本文聚焦于利用关键词借助基础模型的特征表示泛化能力，对监控视频中的异常进行检测。我们提出了一种新颖且轻量级的异常分类管道，利用关键词权重实现分类。该管道采用两阶段流程：归纳与演绎。在归纳阶段，从正常帧和异常帧生成描述，以识别并为相关关键词分配权重。在演绎阶段，将推理帧的描述转换为基于归纳得出的权重的关键词编码，用于输入神经网络进行异常分类。我们在三个基准数据集 UCSD Ped2、Shanghai Tech 和 CUHK Avenue 上实现了相当好的性能，分别获得了 0.865、0.745 和 0.742 的 ROC AUC 分数。这些结果是在无时间序列上下文条件下实现的，使该系统适用于实时应用。我们的模型改进了监控设备在边缘端的实现 setup、可解释性和推理速度，引入了对其他视频异常检测系统的性能权衡。随着开源基础模型泛化能力的提升，我们的模型表明，仅使用文本进行特征表示是一种高效且可解释的实时视频异常检测的有前景的方向。