面向双目视觉自我中心机器人的实时3D语义场景感知
机器人学
2024-02-20 v1
摘要
在室内移动时感知包含多个物体的三维（3D）场景对于基于视觉的移动协作机器人至关重要，特别是为了增强其操作任务。本文提出了一种端到端管道，结合了实例分割、特征匹配和点集配准，用于具有双目视觉的自我中心机器人，并通过所提出的管道展示了机器人的抓取能力。首先，我们设计了一种基于RGB图像的分割方法，用于单视图3D语义场景分割，利用2D数据集中的常见物体类别，通过相应的深度图将3D点封装到物体实例的点云中。接下来，基于前一步骤中RGB图像中感兴趣物体之间的匹配关键点，提取两个连续分割点云的3D对应关系。此外，为了感知3D特征分布的空间变化，我们使用核密度估计（KDE）基于估计的分布对每个3D点对进行加权，从而在求解点云之间的刚体变换时，对不太中心的对应关系具有鲁棒性。最后，我们在配备Intel RealSense D435i RGB-D相机的7自由度双臂Baxter机器人上测试了所提出的管道。结果表明，我们的机器人能够分割感兴趣物体，在移动时配准多个视图，并抓取目标物体。源代码可在https://github.com/mkhangg/semantic_scene_perception获取。
引用
@article{arxiv.2402.11872,
title = {Real-time 3D Semantic Scene Perception for Egocentric Robots with Binocular Vision},
author = {K. Nguyen and T. Dang and M. Huber},
journal= {arXiv preprint arXiv:2402.11872},
year = {2024}
}