基于 Transformer 的航拍视频异常检测
计算机视觉与模式识别
2022-10-05 v1
摘要
无人机(UAV)凭借低成本、大覆盖、实时和高分辨率数据采集能力，被广泛应用于巡检、搜索与救援任务。这些过程中产生了大量航拍视频，其中正常事件往往占压倒性比例。从长视频流中手动定位并提取包含潜在有价值信息的异常事件极为困难。因此，我们致力于开发异常检测方法来解决此问题。在本文中，我们创建了一个名为 DroneAnomaly 的新数据集，用于航拍视频中的异常检测。该数据集提供来自 7 个不同真实场景、含多种异常事件的 37 个训练视频序列和 22 个测试视频序列。共有 87,488 帧彩色视频帧（训练 51,635 帧，测试 35,853 帧），尺寸为 ，帧率 30 帧每秒。基于此数据集，我们评估现有方法并为本任务提供基准。此外，我们提出一个新的基线模型，即基于 Transformer 的异常检测(ANDT)，它将连续视频帧视为管状片段序列，利用 Transformer 编码器从序列中学习特征表示，并借助解码器预测下一帧。我们的网络在训练阶段对正常性建模，在测试阶段将具有不可预测时间动态的事件识别为异常。此外，为全面评估所提方法的性能，我们不仅使用了我们的 Drone-Anomaly 数据集，还使用了另一个数据集。我们将公开提供数据集与代码。演示视频可在 https://youtu.be/ancczYryOBY 获取。我们公开提供数据集与代码。
引用
@article{arxiv.2209.13363,
title = {Anomaly Detection in Aerial Videos with Transformers},
author = {Pu Jin and Lichao Mou and Gui-Song Xia and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2209.13363},
year = {2022}
}