基于分布式智能边缘传感器的三维语义场景感知

我们提出了一种由分布式智能边缘传感器网络组成的三维语义场景感知系统。传感器节点基于嵌入式CNN推理加速器以及RGB-D与热成像相机。用于目标检测、语义分割和人体姿态估计的高效视觉CNN模型在设备端实时运行。来自RGB-D深度估计增强的二维人体关键点估计，以及语义标注点云，从传感器流式传输至中心后端，在后端将多视角融合为异心三维语义场景模型。由于图像解释在本地计算，仅语义信息通过网络发送。原始图像保留在传感器板上，显著降低了所需带宽，并缓解了被观测人员的隐私风险。我们在实验室具有挑战性的真实多人场景中评估了所提系统。该感知系统提供包含语义标注三维几何的完整场景视图，并实时估计多人的三维姿态。