从单张彩色图像重建可行走表面足迹与自由空间

从单张彩色图像理解场景形状是一项艰巨的计算机视觉任务。然而，大多数方法旨在预测相机可见表面的几何形状，这对于机器人和增强现实智能体的路径规划用途有限。此类智能体只能在可通行表面上接地移动，我们将其定义为人类也可行走的一组类别，如草地、人行小径和铺砌路面。预测视线之外区域的模型通常用体素或网格参数化场景，这在机器学习框架中使用代价高昂。我们提出一种模型，在给定单张 RGB 图像作为输入时，预测可见与遮挡可通行表面的几何形状。我们从立体视频序列中学习，利用相机位姿、逐帧深度和语义分割生成训练数据，用于监督一个图像到图像网络。我们使用 KITTI 驾驶数据集、室内 Matterport 数据集以及我们自己随意采集的立体片段训练模型。我们发现训练场景的空间覆盖要求低得出奇。我们针对一系列强基线验证算法，并包含对我们路径规划任务预测的评估。