基于自监督学习的下一最佳视图算法：用于机器人高效3D植物重建的SSL-NBV
计算机视觉与模式识别
2024-11-01 v2 人工智能
摘要
植物的3D重建由于其复杂的形状导致遮挡问题。下一最佳视图（NBV）方法通过迭代选择新的视角以最大化信息增益（IG）来解决此问题。基于深度学习的NBV（DL-NBV）方法在计算效率上优于经典基于体素的NBV方法，但当前方法需要使用真实植物模型进行大量训练，使其在实际应用中不够实用。此外，这些方法依赖于离线训练和预收集的数据，限制了在变化的农业环境中的适应性。本文提出一种基于自监督学习的NBV方法（SSL-NBV），其使用深度神经网络预测候选视角的IG。该方法允许机器人在任务执行期间通过比较新的3D传感器数据与之前收集的数据来gather自己的训练数据，并采用弱监督学习和经验回放进行高效的在线学习。我们在仿真和真实环境中进行了全面评估，并采用交叉验证。结果表明，SSL-NBV在植物重建方面的视图数少于非-NBV方法，且速度是基于体素的方法的800倍以上。SSL-NBV将训练标注减少了90%以上。此外，SSL-NBV可以通过在线微调适应新情景。使用真实植物测试，结果表明该方法能够有效学习为3D植物重建规划新的视角。最重要的是，SSL-NBV自动完成整个网络训练，并使用持续的在线学习，使其能够在变化的农业环境中运行。
引用
@article{arxiv.2410.14790,
title = {SSL-NBV: A Self-Supervised-Learning-Based Next-Best-View algorithm for Efficient 3D Plant Reconstruction by a Robot},
author = {Jianchao Ci and Eldert J. van Henten and Xin Wang and Akshay K. Burusa and Gert Kootstra},
journal= {arXiv preprint arXiv:2410.14790},
year = {2024}
}
备注
22 pages, 11 figures, 1 table