基于全景立体图像、面向修剪机器人的多模态园林数据集与混合三维稠密重建框架

恢复室外环境的表面网格对于农业机器人在任务规划与远程可视化中至关重要。我们提出的方案基于新设计的全景立体相机，以及由三个融合模块组成的混合新型软件框架。该五边形形状的全景立体相机由5对立体视觉相机组成，为以下三个融合模块流式传输同步的全景立体图像。在视差融合模块中，校正后的立体图像使用多种立体视觉算法生成初始视差图。随后，这些初始视差图与强度图像一同输入视差融合网络以生成精炼视差图。接着，精炼视差图被转换为全景点云或单视点云，供位姿融合模块使用。位姿融合模块采用两阶段由粗到细全局—局部策略。第一阶段，每对全景点云通过全局点云匹配算法配准，估计全局位姿图边的变换，有效实现回环闭合。第二阶段，使用局部点云匹配算法匹配不同节点中的单视点云。接着，我们利用三条提出的规则局部细化全局位姿图中所有对应边的位姿，从而构建精炼位姿图。精炼位姿图被优化以生成用于体素融合的全局位姿轨迹。在体素融合模块中，所有节点的全局位姿用于将单视点云集成到体素中以生成整个园林的网格。所提框架及其三个融合模块在真实室外园林数据集上测试，以展示性能的优越性。