基于 RGB 图像的光谱特征映射用于地形感知导航

在户外环境中成功导航需要准确预测机器人与地形之间的物理交互。许多先前的方法依赖几何或语义标签来分类可通行表面。然而，此类标签无法区分在材料属性上存在差异的视觉相似表面。光谱传感器能够通过测量多个波长波段的表面反射率来推断材料成分。尽管光谱传感在机器人领域日益受到关注，但由于需要定制硬件集成、传感器成本高以及计算密集型处理流程，其广泛部署仍受到限制。在本文中，我们提出了 RGB 图像到光谱特征神经网络(RS-Net)，这是一种深度神经网络，旨在弥合 RGB 传感的可访问性与光谱数据提供的丰富材料信息之间的差距。RS-Net 从 RGB 图像块预测光谱特征，我们将其映射到地形标签和摩擦系数。由此产生的地形分类被集成到在户外环境中运行的轮式机器人的基于采样的运动规划器中。同样，摩擦力估计被纳入到在湿滑表面导航的四足机器人的基于接触力的 MPC 中。总体而言，我们的框架在训练期间离线学习与任务相关的物理属性，此后在运行时仅依赖 RGB 传感。