嵌入式无人机上的实时空中检测与推理

我们提出了一种用于无人机嵌入式系统实时检测系统的统一流水线架构。神经架构一直是计算机视觉的行业标准。然而，大多数现有工作仅专注于堆叠更深层以获得更高精度，并以运行时效能为代价。该网络流水线可利用针对新兴无人机自主勘测与活动报告应用的中空中行人检测与活动识别的域特定知识。具体而言，我们的流水线架构以时间敏感方式运行，在从各种空中朝向检测行人方面具有高准确性，使用一种新颖的注意力图进行多活动识别，并利用时序信息联合优化其检测。在数值上，我们展示了模型在嵌入式系统上的准确性与快速推理速度。我们在真实世界开阔场环境中以完整实时视频流实际部署了原型硬件。