利用具有不确定性感知的自适应薄体表示的深度立体视觉方法
计算机视觉与模式识别
2020-04-21 v2 机器学习
机器人学
摘要
我们提出不确定性感知级联立体网络（UCS-Net），用于从多张 RGB 图像进行三维重建。多视图立体（MVS）旨在从多视图图像重建细粒度场景几何。先前基于学习的 MVS 方法使用平面扫描体并在每个平面采用固定深度假设来估计每视图深度；这通常需要密集采样的平面以达到所需精度，且很难实现高分辨率深度。相反，我们提出自适应薄体（ATV）；在 ATV 中，每个平面的深度假设是空间变化的，其适应先前逐像素深度预测的不确定性。我们的 UCS-Net 有三个阶段：第一阶段处理一个小的标准平面扫描体以预测低分辨率深度；随后两个阶段使用两个 ATV 以更高分辨率和更高精度细化深度。我们的 ATV 仅由少量平面组成；然而，它能在学习到的小区间内高效地划分局部深度范围。特别地，我们提出使用基于方差的不确定性估计来自适应构建 ATV；这一可微过程引入了合理且细粒度的空间划分。我们的多阶段框架以由粗到细的方式逐步细分广阔的场景空间，并随着深度分辨率和精度的提高实现高完整性与高精度的场景重建。我们证明在各种具有挑战性的数据集上，我们的方法相比最先进的基准取得了更优性能。
引用
@article{arxiv.1911.12012,
title = {Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness},
author = {Shuo Cheng and Zexiang Xu and Shilin Zhu and Zhuwen Li and Li Erran Li and Ravi Ramamoorthi and Hao Su},
journal= {arXiv preprint arXiv:1911.12012},
year = {2020}
}
备注
Accepted to CVPR 2020 (Oral)