P2M-DeTrack：基于存内像素处理的高能效实时多目标检测与跟踪
图像与视频处理
2022-05-31 v1
摘要
当今自动驾驶车辆中的高分辨率、高帧率相机产生大量数据，需要传输至下游处理器或机器学习（ML）加速器进行处理，以实现多目标检测与跟踪等智能计算任务。海量数据传输带来了显著的能耗、延迟和带宽瓶颈，阻碍了实时处理。为缓解该问题，我们提出了一种称为基于存内像素处理的目标检测与跟踪（P2M-DeTrack）的算法-硬件协同设计框架。P2M-DeTrack基于一个定制的、部分分布于像素阵列内（前端）和部分位于独立FPGA/ASIC（后端）的faster R-CNN模型。所提出的前端像素内处理通过合理优化的步长卷积和池化显著下采样输入特征图。与将RGB像素帧传输至后端的传统基线设计相比，由此得到的P2M-DeTrack设计将传感器与后端间的数据带宽降低至多24倍。这些设计还将每帧的传感器能耗和总能耗（来自Globalfoundries 22nm工艺节点下的内部电路仿真）分别降低5.7倍和1.14倍。最后，它们将感知延迟和总帧延迟分别降低约1.7倍和3倍。我们在大规模BDD100K数据集的多目标检测（跟踪）任务上评估了我们的方法，观察到相比最先进水平，平均精度仅降低0.5%（识别F1分数降低0.8%）。
引用
@article{arxiv.2205.14285,
title = {P2M-DeTrack: Processing-in-Pixel-in-Memory for Energy-efficient and Real-Time Multi-Object Detection and Tracking},
author = {Gourav Datta and Souvik Kundu and Zihan Yin and Joe Mathai and Zeyu Liu and Zixu Wang and Mulin Tian and Shunlin Lu and Ravi T. Lakkireddy and Andrew Schmidt and Wael Abd-Almageed and Ajey P. Jacob and Akhilesh R. Jaiswal and Peter A. Beerel},
journal= {arXiv preprint arXiv:2205.14285},
year = {2022}
}
备注
6 pages, 4 figures, 4 tables