从 360{\deg} 视频自监督学习深度与相机运动
计算机视觉与模式识别
2018-11-14 v1
摘要
随着 360{\deg} 相机在许多自主系统(例如自动驾驶汽车和无人机)中变得普遍,高效的 360{\deg} 感知变得越来越重要。我们提出了一种新颖的自监督学习方法,用于从 360{\deg} 视频中预测全向深度和相机运动。具体而言,从为正常视场角相机设计的 SfMLearner 出发,我们引入三个关键特性以高效处理 360{\deg} 图像。首先,我们将每幅图像从等距柱状投影转换为立方投影以避免图像畸变。在每个网络层中,我们使用立方体填充(CP),从相邻面填充中间特征,以避免图像边界。其次,我们提出一种新颖的整个视球上的“球面”光度一致性约束。这样,没有像素会被投影到图像边界之外,而这通常发生在正常视场角图像中。最后,不同于朴素地估计六个独立的相机运动(即朴素地将 SfM-Learner 应用于立方体每个面),我们提出一种新颖的相机位姿一致性损失以确保估计的相机运动达成一致。为训练和评估我们的方法,我们收集了一个新的 PanoSUNCG 数据集,包含大量带有真实深度和相机运动的 360{\deg} 视频。我们的方法在 PanoSUNCG 上取得了最先进的深度预测和相机运动估计,且推理速度比等距柱状投影更快。在真实世界室内视频中,我们的方法通过获取在 PanoSUNCG 上预训练的模型也能实现定性合理的深度预测。
引用
@article{arxiv.1811.05304,
title = {Self-Supervised Learning of Depth and Camera Motion from 360{\deg} Videos},
author = {Fu-En Wang and Hou-Ning Hu and Hsien-Tzu Cheng and Juan-Ting Lin and Shang-Ta Yang and Meng-Li Shih and Hung-Kuo Chu and Min Sun},
journal= {arXiv preprint arXiv:1811.05304},
year = {2018}
}
备注
ACCV 2018 Oral