基于语义反馈至智能边缘传感器的实时多视角三维人体姿态估计

我们提出了一种新颖的方法，用于从多相机设置中估计三维人体姿态，该方法采用分布式智能边缘传感器并通过语义反馈回路与后端相连。每个相机视角的二维关节检测在专用的嵌入式推理处理器上本地执行。仅语义骨架表示通过网络传输，原始图像保留在传感器板上。三维姿态在中央后端基于三角测量和融入人体骨架先验知识的身体模型从二维关节恢复。从后端到各个传感器的反馈通道在语义层面上实现。 allocentric（以环境为中心）三维姿态被反投影到传感器视角中，并与二维关节检测融合。因此，每个传感器上的局部语义模型可通过融入全局上下文信息而得到改进。整个流水线能够实时运行。我们在三个公开数据集上评估了我们的方法，取得了最先进（state-of-the-art）的结果，并展示了我们反馈架构的优势，以及在我们自己的多人实验设置中的表现。使用反馈信号改善了二维关节检测，进而改善了估计的三维姿态。