嵌入式硬件上压缩感知视频中目标的实时检测与定位
计算机视觉与模式识别
2021-04-20 v3 图像与视频处理
摘要
全球每天都有海量的太字节数据因监控目的而被采集。典型的1-2MP CCTV摄像头每天产生约7-12GB数据。对此海量数据的逐帧处理需要庞大的计算资源。近年来，压缩感知方法在降低采样带宽的信号处理中展现出令人印象深刻的成果。人们开发了不同的采样机制以将压缩感知引入图像与视频采集。像素级编码曝光是在压缩域捕获视频的有前景的感知范式之一，其也已实现为一种全CMOS传感器\cite{Xiong2017}。尽管执行压缩感知的摄像头在采样时节省大量带宽并最小化存储视频所需内存，但在视频重构为原始帧之前我们难以进行处理。然而，压缩感知（CS）视频的重构仍耗时颇多且计算昂贵。本工作中，我们表明目标检测与定位可直接在CS帧上实现（易于达到20倍压缩）。据我们所知，这是首次尝试CS帧上的目标检测与定位问题。因此，我们还创建了用于CS域训练的数据集。我们所提模型在压缩帧（约20原始域帧）上直接以23ms推理时间取得46.27% mAP（平均精度均值）的良好精度，这促成了实时推理，并在NVIDIA TX2嵌入式板上得到验证。我们的框架将显著减少通信带宽，从而因视频压缩在图像传感器处理核心完成而降低功耗。
引用
@article{arxiv.1912.08519,
title = {Real-Time Object Detection and Localization in Compressive Sensed Video on Embedded Hardware},
author = {Yeshwanth Ravi Theja Bethi and Sathyaprakash Narayanan and Venkat Rangan and Chetan Singh Thakur},
journal= {arXiv preprint arXiv:1912.08519},
year = {2021}
}