基于 RGB-D 传感器的蘑菇检测、定位与三维位姿估计用于机器人采摘
计算机视觉与模式识别
2022-01-14 v1 机器人学
摘要
本文提出一种利用低成本消费级 RGB-D 传感器获取的 RGB-D 数据实现蘑菇检测、定位与三维位姿估计的算法。我们针对不同目的使用 RGB 与深度信息。从 RGB 颜色中，我们首先提取蘑菇的初始轮廓位置，然后将初始轮廓位置与原始图像一同送入主动轮廓以进行蘑菇分割。这些分割出的蘑菇随后作为每个蘑菇检测（包括其中心与半径）的输入送入圆形 Hough 变换。一旦获知每个蘑菇在 RGB 图像中的中心位置，我们便利用深度信息将其定位至三维空间即世界坐标系。若在每个蘑菇检测中心处深度信息缺失，我们依据各蘑菇半径内最近可用深度信息进行估计。我们还利用预先准备好的直立蘑菇模型估计每个蘑菇的三维位姿。对此三维位姿估计，我们采用全局配准继以局部精配准的方法。根据估计的三维位姿，我们仅取以四元数表示的旋转部分作为每个蘑菇的朝向。这些估计得到的蘑菇（X,Y,Z）位置、直径与朝向被用于机器人采摘应用。我们在 3D 打印与真实蘑菇上进行了大量实验，结果表明本方法具有令人满意的性能。
引用
@article{arxiv.2201.02837,
title = {Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications},
author = {Nathanael L. Baisa and Bashir Al-Diri},
journal= {arXiv preprint arXiv:2201.02837},
year = {2022}
}