基于圆柱全景视频的深度与自运动无监督学习

我们提出了一种用于从圆柱全景视频中无监督学习深度与自运动的卷积神经网络模型。全景深度估计是虚拟现实、三维建模和自主机器人导航等应用中的一项重要技术。与以往将卷积神经网络应用于全景图像的方法不同，我们采用圆柱全景投影，从而无需修改即可使用卷积滤波器和最大池化等传统 CNN 层。我们对合成数据与真实数据的评估表明，在圆柱全景图像上进行深度与自运动的无监督学习能够生成高质量的深度图，且更大的视场角可提升自运动估计精度。我们还引入了 Headcam，一个在城市骑行场景中通过头盔挂载相机采集的全新全景视频数据集。