利用蔬菜形状特征进行蔬菜植株分割与跟踪以实现农业机器人精准喷洒
计算机视觉与模式识别
2023-06-27 v2 机器人学
摘要
随着农业机器人部署的日益增多，传统的人工液肥与农药喷洒正逐步被农业机器人取代。对于蔬菜农场中的机器人精准喷洒作业，通过实例分割进行准确的植株表型分析以及稳健的植株跟踪至关重要，也是后续喷洒动作的前提。针对蔬菜植株的稳健跟踪，为解决连续图像中颜色与纹理相似的蔬菜关联这一挑战性问题，本文提出一种新颖的多目标跟踪与分割（MOTS）方法，用于多株蔬菜植株的实例分割与跟踪。在我们的方法中，提取轮廓与团块特征以描述每株蔬菜的独特特征，并在不同图像中关联同一蔬菜。通过为每株蔬菜分配唯一ID，可确保机器人在沿农场行垄行进时每株蔬菜恰好被喷洒一次。我们进行了包括消融实验在内的全面实验，证明了其相对于两种最先进（SOTA）MOTS方法的优越性能。与常规MOTS方法相比，所提方法能够利用所提数据关联策略重新识别曾离开相机视场又再次出现的目标，这对于确保机器人在往返行进时每株蔬菜仅被喷洒一次十分重要。尽管该方法在生菜农场上测试，但其可应用于西兰花和油菜等其他类似蔬菜。本文的代码与数据集已公开发布以惠及社区：https://github.com/NanH5837/LettuceMOTS。
引用
@article{arxiv.2306.13518,
title = {Segmentation and Tracking of Vegetable Plants by Exploiting Vegetable Shape Feature for Precision Spray of Agricultural Robots},
author = {Nan Hu and Daobilige Su and Shuo Wang and Xuechang Wang and Huiyu Zhong and Zimeng Wang and Yongliang Qiao and Yu Tan},
journal= {arXiv preprint arXiv:2306.13518},
year = {2023}
}