野外的 360 度深度估计——Depth360 数据集与 SegFuse 网络
计算机视觉与模式识别
2022-02-17 v1
摘要
基于全向图像的单一视图深度估计因其在自动驾驶和场景重建等中的广泛应用而受到关注。尽管数据驱动的学习方法在该领域展现出显著潜力，但训练数据稀缺和无效的 360 度估计算法仍是阻碍跨域精确估计的两个关键局限。在本工作中，我们首先建立了一个具有多样设置的大规模数据集 Depth360 以解决训练数据问题。这是通过探索利用丰富的网络 360 度视频数据源，并采用一种利用各全向序列中独特信息的测试时训练方法实现的。借助新颖的几何与时间约束，我们的方法生成一致且可信的深度样本，以促进单视图估计。随后我们提出一个端到端双分支多任务学习网络 SegFuse，其模拟人眼从数据集中有效学习，并从多样的单体 RGB 图像估计高质量深度图。通过采用等距柱状投影进行深度估计的外围分支，以及采用立方体贴图投影进行语义分割的中央凹分支，我们的方法在预测一致的全局深度的同时保留局部区域的清晰细节。实验结果表明了相对于最先进方法的优越性能。
引用
@article{arxiv.2202.08010,
title = {360 Depth Estimation in the Wild -- The Depth360 Dataset and the SegFuse Network},
author = {Qi Feng and Hubert P. H. Shum and Shigeo Morishima},
journal= {arXiv preprint arXiv:2202.08010},
year = {2022}
}
备注
10 pages, 10 figures, 5 tables, submitted to IEEE VR 2022