机器人叶片操作的自监督学习：一种混合几何-神经网络方法

在农业环境中实现叶片操作的自动化面临着巨大挑战，包括植物形态的多样性和叶片的可变形性。我们提出了一种新颖的混合几何-神经网络方法，通过自监督学习将传统计算机视觉与神经网络相结合，用于自主叶片抓取。我们的方法集成了用于实例分割的YOLOv8和用于三维深度估计的RAFT-Stereo，以构建丰富的叶片表示，这些表示被输入到一个几何特征评分流水线和一个神经细化模块（GraspPointCNN）中。关键创新在于我们的置信度加权融合机制，该机制根据预测的确定性动态平衡每种方法的贡献。我们的自监督框架使用几何流水线作为专家教师来自动生成训练数据。实验表明，我们的方法在受控环境中达到了88.0%的成功率，在真实温室条件下达到了84.7%的成功率，显著优于纯几何方法（75.3%）和纯神经网络方法（60.2%）。这项工作为农业机器人建立了一个新范式，将领域专业知识与机器学习能力无缝集成，为全自动作物监测系统奠定了基础。