在农业中显式融入空间信息到循环网络
机器人学
2022-06-28 v1 计算机视觉与模式识别
机器学习
摘要
在农业中，大多数视觉系统执行静态图像分类。然而，近期的研究强调了空间和时间线索作为丰富信息源以改善分类性能的潜力。本文中，我们提出了新颖的方法，显式捕获空间和时间信息以改进深度卷积神经网络的分类。我们利用可用的RGB-D图像和机器人里程计来执行帧间特征图空间配准。该信息随后在循环深度学习模型内融合，以提高其准确性和鲁棒性。我们证明这可以显著改善分类性能，我们性能最佳的空间-时间模型（ST-Atte）在交并比（IoU[%]）上实现了作物-杂草分割绝对性能提升4.7，以及水果（甜椒）分割提升2.6。此外，我们表明这些方法对实际应用中常见的可变帧率和里程计误差具有鲁棒性。
引用
@article{arxiv.2206.13406,
title = {Explicitly incorporating spatial information to recurrent networks for agriculture},
author = {Claus Smitt and Michael Halstead and Alireza Ahmadi and Chris McCool},
journal= {arXiv preprint arXiv:2206.13406},
year = {2022}
}