ReMotENet：面向大规模家庭监控视频的高效相关运动事件检测
计算机视觉与模式识别
2018-01-09 v1
摘要
本文研究在大规模家庭监控视频中检测由感兴趣目标（如人与车辆）引起的相关运动的问题。传统方法通常包含两个不同的步骤，即在相机上通过背景减除检测运动目标，以及在云上通过基于深度学习的物体检测与跟踪滤除 nuisance 运动事件（如树木、云、阴影、雨/雪、旗帜）。该方法极慢且因此不具成本效益，且未通过预训练的现成物体检测器充分利用时空冗余。为大幅加速相关运动事件检测并提升其性能，我们提出一种用于相关运动事件检测的新网络 ReMotENet，它是一种统一的端到端数据驱动方法，使用基于时空注意力的 3D ConvNets 联合建模视频中感兴趣目标的外观与运动。ReMotENet 在一次神经网络前向传播中解析整个视频片段，从而实现显著加速。同时，它利用家庭监控视频的特性（例如相关运动在时空上均稀疏），并通过时空注意力模型与参考帧减除增强 3D ConvNets，以促使网络聚焦于相关运动目标。实验表明，我们的方法可达到与基于物体检测的方法相当甚至更优的性能，而在 GPU 设备上可实现三到四个数量级的加速（最高达 20k 倍）。我们的网络高效、紧凑且轻量。它能在 GPU 上于 4-8 毫秒内、在 CPU 上于不到一秒（0.17-0.39）内检测一段 15 秒监控视频片段中的相关运动，模型大小小于 1MB。
引用
@article{arxiv.1801.02031,
title = {ReMotENet: Efficient Relevant Motion Event Detection for Large-scale Home Surveillance Videos},
author = {Ruichi Yu and Hongcheng Wang and Larry S. Davis},
journal= {arXiv preprint arXiv:1801.02031},
year = {2018}
}
备注
WACV18