基于深度学习的局部遮挡苹果树语义分割
计算机视觉与模式识别
2020-10-15 v1
摘要
果树修剪与疏果需要强大的视觉系统，能够提供果树及其枝条的高分辨率分割。然而，近期工作仅考虑休眠季，此时枝条遮挡极小，或拟合多项式曲线以重建枝条形状，从而丢失了关于枝条粗细的信息。本工作中，我们应用两个最先进的监督学习模型 U-Net 和 DeepLabv3，以及一个条件生成对抗网络 Pix2Pix（含与不含判别器）来分割局部遮挡的 2D-open-V 苹果树。采用二值准确率、平均交并比、边界 F1 分数和遮挡枝条召回率评估模型性能。DeepLabv3 在二值准确率、平均交并比和边界 F1 分数上优于其他模型，但在遮挡枝条召回率上被 Pix2Pix（不含判别器）和 U-Net 超越。我们定义两个难度指数以量化任务难度：(1) 遮挡难度指数与 (2) 深度难度指数。我们通过枝条召回率和遮挡枝条召回率分析在两个难度指数上最差的 10 张图像。U-Net 在当前指标上优于其他两个模型。另一方面，Pix2Pix（不含判别器）提供了更多关于枝条路径的信息，而这些未被指标反映。这凸显了针对恢复遮挡信息更需要专门指标的必要性。此外，这也显示了图像迁移网络用于遮挡后幻觉生成的实用性。未来工作需进一步增强模型以从遮挡中恢复更多信息，使该技术能应用于商业环境中的农业任务自动化。
引用
@article{arxiv.2010.06879,
title = {Semantic Segmentation for Partially Occluded Apple Trees Based on Deep Learning},
author = {Zijue Chen and David Ting and Rhys Newbury and Chao Chen},
journal= {arXiv preprint arXiv:2010.06879},
year = {2020}
}