面向大规模朝觐人群时空实时异常行为检测、跟踪与识别的混合分类器
计算机视觉与模式识别
2022-07-26 v1
摘要
个体异常行为因人群规模、上下文和场景而异。在大规模人群中检测、跟踪和识别异常行为个体时，会出现部分遮挡、模糊、大量异常行为以及相机视角等挑战。本文的贡献有两点。首先，我们引入了已标注的大规模人群异常行为朝觐数据集（HAJJv2）。其次，我们提出了两种卷积神经网络（CNN）与随机森林（RF）混合的方法，用于在小规模和大规模人群视频中检测并识别时空异常行为。在小规模人群视频中，对预训练的 ResNet-50 CNN 模型进行微调，以验证每一帧在空间域中是否正常。若观察到异常行为，则使用基于 Horn-Schunck 光流幅值与方向的运动个体检测方法来定位并跟踪异常行为个体。在大规模人群视频中，采用卡尔曼滤波器预测并跟踪后续帧中检测到的个体，随后计算均值、方差和标准差统计特征并输入 RF，以在时间域中对异常行为个体进行分类。在大规模人群中，我们使用 YOLOv2 目标检测技术微调 ResNet-50 模型，以在空间域中检测异常行为个体。
引用
@article{arxiv.2207.11931,
title = {Hybrid Classifiers for Spatio-temporal Real-time Abnormal Behaviors Detection, Tracking, and Recognition in Massive Hajj Crowds},
author = {Tarik Alafif and Anas Hadi and Manal Allahyani and Bander Alzahrani and Areej Alhothali and Reem Alotaibi and Ahmed Barnawi},
journal= {arXiv preprint arXiv:2207.11931},
year = {2022}
}