基于高维双边网格、面向边缘一致单图像深度估计的新型 3D-UNet 深度学习框架
计算机视觉与模式识别
2021-05-24 v1
摘要
预测平滑且边缘一致的深度图对于单图像深度估计而言是出了名的困难。本文提出一种新颖的基于双边网格的 3D 卷积神经网络，称为 3DBG-UNet，其通过用 UNet 编码紧凑的 3D 双边网格来参数化高维特征空间，并推断场景的尖锐几何布局。进一步，引入另一种新颖的 3DBGES-UNet 模型，其集成 3DBG-UNet 以在给定单一彩色视图下推断精确深度图。3DBGES-UNet 将 3DBG-UNet 几何图与 inception 网络边缘增强图以及通过利用语义分割获得的空间物体边界图拼接，并以 ResNet 为骨干训练 UNet 模型。两模型设计均特别关注显式刻画边缘或细微细节。在深度边缘保持尖锐不连续性对于诸多应用至关重要，例如 AR 视频中虚拟物体的真实感集成或用于 3D 显示应用的遮挡感知视图合成。所提出的深度预测网络在具挑战性的 NYUv2-Depth 数据上取得了定性与定量评估的最先进性能。代码与相应预训练权重将公开可用。
引用
@article{arxiv.2105.10129,
title = {A Novel 3D-UNet Deep Learning Framework Based on High-Dimensional Bilateral Grid for Edge Consistent Single Image Depth Estimation},
author = {Mansi Sharma and Abheesht Sharma and Kadvekar Rohit Tushar and Avinash Panneer},
journal= {arXiv preprint arXiv:2105.10129},
year = {2021}
}
备注
8 pages, 5 figures, accepted at IC3D 2020