从单幅图像学习恢复三维场景形状
计算机视觉与模式识别
2020-12-18 v1
摘要
尽管单目深度估计在真实场景中取得显著进展，近期最先进方法因混合数据深度预测训练中所用平移不变重建损失引起的未知深度偏移，以及可能的未知相机焦距，无法用于恢复准确的三维场景形状。我们详细探究该问题，并提出一种两阶段框架：首先从单幅单目图像预测含未知尺度与偏移的深度，随后利用三维点云编码器预测缺失的深度偏移与焦距，从而恢复真实的三维场景形状。此外，我们提出图像级归一化回归损失与基于法线的几何损失，以增强在混合数据集上训练的深度预测模型。我们在九个未见过的数据集上测试深度模型，并在零样本数据集泛化上取得最先进性能。代码见：https://git.io/Depth
引用
@article{arxiv.2012.09365,
title = {Learning to Recover 3D Scene Shape from a Single Image},
author = {Wei Yin and Jianming Zhang and Oliver Wang and Simon Niklaus and Long Mai and Simon Chen and Chunhua Shen},
journal= {arXiv preprint arXiv:2012.09365},
year = {2020}
}