一种用于虚拟全向视觉以提升操作员态势感知的灵活框架

在移动机器人遥操作过程中，提供良好的操作员态势感知是一个主要问题，因为一次失误就可能导致任务失败。相机视频流被广泛用于遥操作，但视场有限。本文提出一种基于融合安装在机器人任意位置的多台相机的新型方法、用于提升态势感知的虚拟投影灵活框架。此外，我们提出一种互补方法，通过融合相机图像与几何三维激光雷达（Lidar）数据获得彩色点云，以改善场景理解。在紧凑型全向相机上的实现大幅降低了系统复杂度，与传统方法（如主动云台）相比，以小得多的占用空间解决了多种用例。最后，我们通过在波士顿动力 Spot 的多相机系统上的应用展示了该方法的通用性。软件实现作为开源 ROS 软件包在项目页面 https://tu-darmstadt-ros-pkg.github.io/omnidirectional_vision 上提供。