通过几何感知学习实现机器人荔枝采摘的精确采摘点估计
机器人学
2024-04-02 v1 人工智能
摘要
在非结构化果园环境中准确识别荔枝采摘点并获取其坐标位置，对于荔枝采摘机器人的成功至关重要。然而，传统的基于二维（2D）图像的目标检测方法由于树枝、树叶和果实的复杂几何结构，往往难以准确确定荔枝采摘点。在本研究中，我们提出了一种专门为荔枝采摘点精确定位而设计的 Fcaf3d-lychee 网络模型。使用 Microsoft 的 Azure Kinect DK 飞行时间（TOF）相机通过多视角拼接，获取了自然环境下的荔枝采摘点点云数据。我们在全卷积无锚框 3D 目标检测（Fcaf3d）模型中引入了挤压与激励（SE）模块，该模块利用人类视觉注意力机制来改进荔枝采摘点的特征提取。训练好的网络模型在荔枝采摘位置测试集上进行了评估，取得了 88.57% 的高 F1 分数，显著优于现有模型。随后在真实荔枝果园环境中对采摘点进行的三维（3D）位置检测也获得了高精度，即使在不同程度的遮挡下也是如此。荔枝采摘点在各个方向上的定位误差均在 1.5 cm 以内，证明了该模型的鲁棒性和通用性。
引用
@article{arxiv.2404.00364,
title = {Accurate Cutting-point Estimation for Robotic Lychee Harvesting through Geometry-aware Learning},
author = {Gengming Zhang and Hao Cao and Kewei Hu and Yaoqiang Pan and Yuqin Deng and Hongjun Wang and Hanwen Kang},
journal= {arXiv preprint arXiv:2404.00364},
year = {2024}
}