基于外部摄像头的移动机器人位姿估计用于智能边缘传感器协同感知

我们提出了一种利用多视角RGB图像估计移动机器人相对于静态摄像头网络 allocentric 坐标系位姿的方法。图像由深度神经网络在智能边缘传感器上本地在线处理，以检测机器人并估计定义在3D机器人模型特定位置上的2D关键点。机器人关键点检测结果在中央后端同步并融合，通过多视角重投影误差最小化估计机器人位姿。借助外部摄像头的位姿估计，机器人定位可在完全未知状态（绑架机器人问题）下于allocentric地图中初始化，并随时间稳健跟踪。我们进行了一系列实验，评估基于摄像头的位姿估计相较于机器人内部导航栈的精度与鲁棒性，结果表明我们的摄像头方法位姿误差低于3 cm和1°，且因机器人在allocentric坐标系中定位而不随时间漂移。借助精确估计的机器人位姿，其观测可融合进allocentric场景模型。我们展示了一个真实应用：将移动机器人与静态智能边缘传感器的观测融合，协同构建约240 m²室内环境的3D语义地图。