鲁棒果实计数：结合深度学习、跟踪与运动恢复结构
计算机视觉与模式识别
2018-08-03 v2
摘要
我们提出了一种新颖的果实计数流程，它结合深度分割、帧间跟踪与三维定位，以在图像序列中准确计数可见果实。我们的流程适用于单目相机的图像流，既可在自然光下工作，也可在夜间受控光照下工作。我们首先训练一个全卷积网络（FCN），将视频帧图像分割为果实与非果实像素。随后使用匈牙利算法跨帧跟踪果实，其中目标代价由卡尔曼滤波修正的 Kanade-Lucas-Tomasi（KLT）跟踪器确定。为修正跟踪过程的估计计数，我们将跟踪结果与运动恢复结构（SfM）算法结合，计算相对三维位置与尺寸估计，以剔除离群点和重复计数的果实轨迹。我们通过与人工标注的真值视觉计数比较来评估算法。结果表明，我们的流程能够准确可靠地跨图像序列计数果实，且修正步骤可显著提升计数精度与鲁棒性。尽管在果实计数背景下讨论，我们的工作可扩展至多种其他静止感兴趣特征（如叶斑、萎蔫与开花）的检测、跟踪与计数。
引用
@article{arxiv.1804.00307,
title = {Robust Fruit Counting: Combining Deep Learning, Tracking, and Structure from Motion},
author = {Xu Liu and Steven W. Chen and Shreyas Aditya and Nivedha Sivakumar and Sandeep Dcunha and Chao Qu and Camillo J. Taylor and Jnaneshwar Das and Vijay Kumar},
journal= {arXiv preprint arXiv:1804.00307},
year = {2018}
}
备注
Accepted in IROS 2018 (2018 IEEE/RSJ International Conference on Intelligent Robots and Systems)