从圆柱全景视频中无监督学习深度与自运动及其在虚拟现实中的应用
计算机视觉与模式识别
2020-11-11 v2 机器学习
机器人学
摘要
我们引入一种卷积神经网络模型，用于从圆柱全景视频中无监督学习深度与自运动。全景深度估计是虚拟现实、三维建模和自主机器人导航等应用的重要技术。与以往将卷积神经网络应用于全景图像的方法不同，我们采用圆柱全景投影，从而无需修改即可使用传统 CNN 层（如卷积滤波器和最大池化）。我们对合成与真实数据的评估表明，在圆柱全景图像上的深度与自运动无监督学习可生成高质量深度图，且更大的视场能提升自运动估计精度。我们创建了两个新数据集来评估我们的方法：使用 CARLA 模拟器生成的合成数据集，以及 Headcam——一个在城市骑行时通过头盔挂载相机采集的全景视频新数据集。我们还将我们的网络应用于将单目全景图转换为立体全景图的问题。
引用
@article{arxiv.2010.07704,
title = {Unsupervised Learning of Depth and Ego-Motion from Cylindrical Panoramic Video with Applications for Virtual Reality},
author = {Alisha Sharma and Ryan Nett and Jonathan Ventura},
journal= {arXiv preprint arXiv:2010.07704},
year = {2020}
}
备注
Expansion on arXiv:1901.00979 for IJSC SI; correct table 1 and 3 headings, reduce file size