用于商业柑橘园中多橙果检测与跟踪、三维果实重定位及基于神经网络的产量回归的流水线

传统上，甜橙作物预测需要对大量树木上的果实进行人工计数，这是一个劳动密集型的过程。基于近端成像、计算机视觉和机器学习的自动果实计数系统被认为是人工计数的一种有前景的替代或补充方案。这些系统需要数据关联组件，以防止对在不同图像中观察到的同一果实进行多次计数。然而，目前缺乏评估多果实计数准确性的研究，特别是考虑到被遮挡和重新出现的绿叶果树上的绿果，以及田间测量的计数真值数据。我们提出了一种非侵入性替代方案，利用视频进行果实计数，并将其实现为一个流水线。首先，我们采用CNN进行可见果实检测。随后应用帧间关联技术跨帧跟踪果实。为处理被遮挡和重新出现的果实，我们引入了一个采用果实位置三维估计的重定位组件。最后，利用神经网络回归器估计果实总数，将基于图像的果实计数与作物品种和树体大小等其他树木数据相整合。结果表明，我们方法的性能与田间采集视频的质量密切相关。通过确保至少30%的果实被准确检测、跟踪和计数，我们的产量回归器实现了0.85的优异决定系数。据我们所知，本研究是将人工果实计数作为评估参考点的少数果实估算尝试之一。我们还引入了用于多橙果跟踪(MOrangeT)和检测(OranDet)的标注数据集，并公开提供以促进基于图像的果实计数新方法的开发。