P3Depth：基于分段平面性先验的单目深度估计
计算机视觉与模式识别
2022-04-06 v1 人工智能
机器学习
机器人学
摘要
单目深度估计对场景理解和下游任务至关重要。我们关注监督设置，其中仅在训练时可用真实深度。基于对真实 3D 场景高规则性的认识，我们提出一种方法，学习选择性利用共面像素的信息以改进预测深度。具体而言，我们引入分段平面性先验，即对每个像素，存在一个与其共享同一平面 3D 表面的种子像素。受该先验启发，我们设计了一个双头的网络。第一个头输出像素级平面系数，第二个头输出密集偏移向量场以定位种子像素位置。随后用种子像素的平面系数预测各位置深度。所得预测通过学习的置信度与第一个头的初始预测自适应融合，以应对对精确局部平面性的潜在偏离。得益于所提模块的可微性，整个架构端到端训练，并学习预测规则深度图，在遮挡边界具有锐利边缘。我们方法的广泛评估表明，其在监督单目深度估计上确立了新的 SOTA，在 NYU Depth-v2 和 KITTI 的 Garg 划分上超越先前方法。我们的方法输出的深度图可对输入场景进行合理 3D 重建。代码见：https://github.com/SysCV/P3Depth
引用
@article{arxiv.2204.02091,
title = {P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior},
author = {Vaishakh Patil and Christos Sakaridis and Alexander Liniger and Luc Van Gool},
journal= {arXiv preprint arXiv:2204.02091},
year = {2022}
}
备注
Accepted at CVPR 2022