基于深度关键点检测与点云番茄果柄节点的三维姿态估计
计算机视觉与模式识别
2023-11-09 v1 机器人学
摘要
发达国家果蔬温室生产面临劳动力短缺与高劳动力成本的挑战。机器人提供了可持续且具成本效益生产的良好方案。获取相关植物部位的准确空间信息对机器人成功作业至关重要。由于植物外观、视角与光照的变化，温室中的机器人感知具挑战性。本文提出一种基于关键点检测、利用 RGB-D 相机数据估计果柄节点三维姿态的方法，其为采收番茄串提供必要信息。具体而言，本文提出一种在彩色图像中检测四个解剖标志点，继而融合三维点云信息以确定三维姿态的方法。在商业温室中进行了综合评估，以洞察方法不同部分的性能。结果显示：（1）目标检测高精度，达到平均精度（AP）[email protected]=0.96；（2）关键点平均检测关节百分比（PDJ）为 [email protected]=94.31%；（3）三维姿态估计精度，果柄与主茎间相对上、下角度的均值绝对误差（MAE）分别为 11.38° 与 9.93°。此外，考察了处理视角变化的能力，表明该方法对视角变化具鲁棒性。然而，正视角与较高视角相较其他视角性能略高。尽管以番茄为用例，所提方法也适用于甜椒等其他温室作物。
引用
@article{arxiv.2311.04699,
title = {3D Pose Estimation of Tomato Peduncle Nodes using Deep Keypoint Detection and Point Cloud},
author = {Jianchao Ci and Xin Wang and David Rapado-Rincón and Akshay K. Burusa and Gert Kootstra},
journal= {arXiv preprint arXiv:2311.04699},
year = {2023}
}
备注
26 pages, 8 figures, 7 tables. Agricultural Biosystems Engineering Group, Department of Plant Sciences, 7 Wageningen University and Research, P.O. Box 16, Wageningen, 6700AA, 8 the Netherlands