IronDepth:利用表面法线及其不确定性迭代细化单视图深度
计算机视觉与模式识别
2022-10-10 v1
摘要
单图像表面法线估计与深度估计是紧密相关的问题,因为前者可由后者计算。然而,由深度估计方法输出计算出的表面法线明显不如网络直接估计的表面法线准确。为减少这种差异,我们引入一种新颖框架,利用表面法线及其不确定性循环细化预测的深度图。每个像素的深度可使用预测的表面法线作为引导传播到查询像素。因此,我们将深度细化表述为选择邻近像素进行传播的类别分类问题。然后,通过传播到亚像素点,我们对细化后的低分辨率输出进行上采样。所提方法在NYUv2和iBims-1上均展现出最先进性能——在深度和法线方面皆是。我们的细化模块也可附加到现有深度估计方法上以提升其精度。我们还展示了仅训练用于深度估计的我们的框架也可用于深度补全。代码可在https://github.com/baegwangbin/IronDepth获取。
引用
@article{arxiv.2210.03676,
title = {IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty},
author = {Gwangbin Bae and Ignas Budvytis and Roberto Cipolla},
journal= {arXiv preprint arXiv:2210.03676},
year = {2022}
}
备注
BMVC 2022