苹果园中环境的水果检测、分割与三维可视化
计算机视觉与模式识别
2021-12-09 v1 图像与视频处理
摘要
果园中水果的机器人采摘是一项具有挑战性的任务，因为水果和枝条的高密度与重叠会严重影响机器人采摘的成功率。因此，视觉系统需要提供工作环境的全面信息，以引导机械臂和抓取系统成功分离目标水果。在本研究中，开发了基于深度学习的一阶段检测器DaSNet-V2，以在苹果园工作环境中执行多任务视觉感知。DaSNet-V2将水果的检测与实例分割以及枝条的语义分割结合到单一网络架构中。同时，在DaSNet-V2模型中使用了轻量骨干网络LW-net以提高模型的计算效率。实验中，DaSNet-V2在果园的RGB-D图像上进行了测试与评估。实验结果表明，采用轻量骨干的DaSNet-V2在检测F1分数、水果实例分割的平均交并比和枝条语义分割上分别达到0.844、0.858和0.795。为直观展示果园工作环境，所获得的感知结果通过三维可视化进行呈现。在真实苹果园环境中的实验验证了DaSNet-V2在检测与分割上的鲁棒性与效率。
引用
@article{arxiv.1911.12889,
title = {Fruit Detection, Segmentation and 3D Visualisation of Environments in Apple Orchards},
author = {Hanwen Kang and Chao Chen},
journal= {arXiv preprint arXiv:1911.12889},
year = {2021}
}
备注
17 pages, 7 figures