基于立体视觉的机械零件料箱拣选单次 6D 物体位姿估计

我们提出了一种快速准确的机器人机械臂料箱拣选（bin-picking）中机械零件 6D 物体位姿估计方法。我们通过引入注意力架构将单次（single-shot）方法扩展到立体视觉。我们的卷积神经网络模型无需深度信息即可从左图像或右图像回归物体的位置与旋转。随后，一个名为 Stereo Grid Attention 的立体特征匹配模块生成立体网格匹配图。我们方法的关键在于仅计算注意力从立体图像中发现的物体的视差，而非计算整幅图像的点云。该视差值随后通过三角测量原理用于计算到物体的深度。我们的方法还通过单次架构实现了快速的位姿估计处理速度，在采用半精度浮点模型部署的 Jetson AGX Xavier 上处理 1024 x 1024 像素图像仅需 75 毫秒。以弱纹理机械零件为例说明该方法。首先，我们创建原始合成数据集用于所提模型的训练与评估。该数据集通过在虚拟空间中捕获并渲染若干类机械零件的大量 3D 模型生成。最后，我们使用带有电磁夹爪的机器人机械臂拣取杂乱状态下的机械零件，以在实际场景中验证方法的有效性。当我们的立体相机使用所提方法处理原始立体图像来检测黑色钢螺钉、不锈钢螺钉和直流电机零件（即壳体、转子铁芯和换向器盖）时，料箱拣选任务的成功率分别为 76.3%、64.0%、50.5%、89.1% 和 64.2%。