GeoNet++：用于深度与表面法线联合估计的迭代几何神经网络及边缘感知细化
计算机视觉与模式识别
2020-12-15 v1
摘要
在本文中，我们提出一种带边缘感知细化的几何神经网络（GeoNet++），用于从单幅图像联合预测深度图与表面法线图。基于双流 CNN，GeoNet++ 通过所提出的深度到法线与法线到深度模块捕捉深度与表面法线之间的几何关系。具体而言，“深度到法线”模块利用从深度估计表面法线的最小二乘解来提升其质量，而“法线到深度”模块通过核回归基于表面法线的约束细化深度图。边界信息通过边缘感知细化模块加以利用。GeoNet++ 有效预测具有强 3D 一致性与锐利边界的深度和表面法线，从而带来更好的重建 3D 场景。需注意，GeoNet++ 是通用的，可用于其他深度/法线预测框架以提升 3D 重建质量及深度与表面法线的逐像素精度。此外，我们提出一种新的 3D 几何度量（3DGM）用于评估 3D 中的深度预测。与当前聚焦于评估逐像素误差/精度的度量不同，3DGM 衡量预测深度能否重建高质量 3D 表面法线。这对许多 3D 应用领域而言是更自然的度量。我们在 NYUD-V2 与 KITTI 数据集上的实验验证了 GeoNet++ 产生精细边界细节，且预测深度可用于重建高质量 3D 表面。代码已公开可用。
引用
@article{arxiv.2012.06980,
title = {GeoNet++: Iterative Geometric Neural Network with Edge-Aware Refinement for Joint Depth and Surface Normal Estimation},
author = {Xiaojuan Qi and Zhengzhe Liu and Renjie Liao and Philip H. S. Torr and Raquel Urtasun and Jiaya Jia},
journal= {arXiv preprint arXiv:2012.06980},
year = {2020}
}
备注
TPAMI 2020. Code available: https://github.com/xjqi/GeoNet