上下文恢复与知识检索：一种用于视频异常检测的新型双流框架

视频异常检测旨在发现视频中不符合预期行为的事件。主流方法主要通过片段重建或未来帧预测误差来检测异常。然而，该误差高度依赖于当前片段的局部上下文，且缺乏对正常性的理解。为解决此问题，我们提出不仅依据局部上下文，还依据测试事件与来自训练数据的正常性知识之间的一致性来检测异常事件。具体地，我们提出了一种基于上下文恢复与知识检索的新型双流框架，其中两流可互为补充。对于上下文恢复流，我们提出一种时空U-Net，可充分利用运动信息预测未来帧。此外，我们提出最大局部误差机制以缓解由复杂前景物体引起的大恢复误差问题。对于知识检索流，我们提出一种改进的可学习局部敏感哈希，通过孪生网络和互差异损失优化哈希函数。正常性知识被编码并存储于哈希表中，测试事件与知识表示之间的距离用于揭示异常概率。最后，我们融合两流的异常分数以检测异常。大量实验证明了两流的有效性与互补性，所提双流框架在四个数据集上取得了最先进的性能。