基于面向对象的材料分类与 3D 聚类以提升移动机器人语义感知与地图构建

对不同物体表面材料类型的分类可在移动机器人和自动驾驶车辆的决策算法中发挥重要作用。虽然 RGB 基于场景的语义分割在文献中已得到充分关注，但改进材料识别并利用深度模态与 SLAM 算法集成实现 3D 语义地图，可能在机器人感知管道中释放新的潜在优势。为此，我们提出一种基于面向对象的深度学习方法，用于 RGB-D 材料分类，建立在对象导向管道之上。该方法进一步集成 ORB-SLAM2 方法用于 3D 场景映射，并对检测到的材料语义在由视觉 SLAM 生成的点云地图中进行多尺度聚类。大量实验结果使用现有公开数据集和新 contributed 的真实世界机器人数据集表明，与当前用于 3D 语义场景映射的现有方法相比，我们的方法在材料分类和 3D 聚类准确率上显著提高。