视频流中的实时异常检测

本论文是 CIFRE 协议下公司 Othello 与 LIASD 实验室之间合作的研究成果。目标是开发一个人工智能系统，能够在视频流中实时检测危险。为实现此目标，提出了一种结合时域和空域分析的新方法。探索了多种途径，通过集成目标检测、人体姿态检测和运动分析来提高异常检测效果。为了提高结果的可解释性，扩展了常用于图像分析的技术，如激活图和显著性图，并提出了一种原创方法。该提议架构可以在二分类或多分类中执行，取决于是需要识别警报还是识别原因。测试了众多神经网络模型，最终选取了三种模型：用于空域分析的 You Only Looks Once (YOLO)，用于时域分析的由 VGG19 和门控循环单元 (GRU) 组成的卷积循环神经网络 (CRNN)，以及用于分类的多层感知器。这些模型处理不同类型的数据，可并行或串联组合。虽然并行模式更快，但串联模式通常更可靠。为训练这些模型，采用了监督学习方法，并创建了两个专有数据集。第一个数据集聚焦于可能在异常情形中发挥作用的对象，而第二个数据集则包含异常或非异常情形的视频。该方法使我们能够处理连续视频流和有限视频，提供了更大的检测灵活性。