具有自适应法向约束的遮挡感知深度估计
计算机视觉与模式识别
2021-07-13 v4
摘要
我们提出了一种基于学习的从彩色视频进行多帧深度估计的新方法，这是场景理解、机器人导航或手持式 3D 重建中的基本问题。尽管近期基于学习的方法以高精度估计深度，但从其深度图导出的 3D 点云往往无法保留人造场景的重要几何特征（例如角点、边缘、平面）。广泛使用的逐像素深度误差并未专门惩罚这些特征上的不一致性。当后续深度重建被累积以试图扫描具有此类特征的人造物体的完整环境时，这些不准确性尤为严重。因此，我们的深度估计算法引入了组合法向图（CNM）约束，旨在更好地保留高曲率特征和全局平面区域。为了进一步提高深度估计精度，我们引入了一种新的遮挡感知策略，将来自多个相邻视图的初始深度预测聚合成当前参考视图的一张最终深度图和一张遮挡概率图。我们的方法在深度估计精度方面优于最先进水平，并且比其他算法更好地保留了人造室内场景的基本几何特征。
引用
@article{arxiv.2004.00845,
title = {Occlusion-Aware Depth Estimation with Adaptive Normal Constraints},
author = {Xiaoxiao Long and Lingjie Liu and Christian Theobalt and Wenping Wang},
journal= {arXiv preprint arXiv:2004.00845},
year = {2021}
}
备注
ECCV 2020