自然果园中基于多传感器融合数据的果实语义分割
计算机视觉与模式识别
2022-08-05 v1 密码学与安全
机器学习
摘要
语义分割是农业机器人在自然果园中理解周边环境的一项基础任务。激光雷达(LiDAR)技术的近期发展使机器人能够在非结构化果园中获取视野的精确距离测量。与 RGB 图像相比，3D 点云具有几何属性。通过结合 LiDAR 与相机，可获得几何与纹理的丰富信息。在本工作中，我们提出一种基于深度学习的分割方法，对来自 LiDAR-相机视觉传感器的融合数据执行准确的语义分割。两项关键问题在本工作中被探讨并解决。其一是如何高效融合多传感器数据中的纹理与几何特征。其二是如何在严重类别不平衡条件下高效训练 3D 分割网络。此外，我们详细介绍了果园中 3D 分割的实现，包括 LiDAR-相机数据融合、数据采集与标注、网络训练及模型推理。实验中，我们全面分析了在处理来自苹果园的高非结构化且含噪点云时的网络配置。总体而言，我们提出的方法在高分辨率点云(100k-200k 点)上的果实分割达到了 86.2% 的 mIoU。实验结果表明该方法可在真实果园环境中实现准确分割。
引用
@article{arxiv.2208.02482,
title = {Privacy Safe Representation Learning via Frequency Filtering Encoder},
author = {Jonghu Jeong and Minyong Cho and Philipp Benz and Jinwoo Hwang and Jeewook Kim and Seungkwan Lee and Tae-hoon Kim},
journal= {arXiv preprint arXiv:2208.02482},
year = {2022}
}
备注
The IJCAI-ECAI-22 Workshop on Artificial Intelligence Safety (AISafety 2022)