3DVNet：多视图深度预测与体素细化
计算机视觉与模式识别
2021-12-02 v1
摘要
我们提出 3DVNet，一种新颖的多视图立体（MVS）深度预测方法，它结合了先前基于深度与基于体素的 MVS 方法的优势。我们的核心思想是使用一个 3D 场景建模网络，迭代更新一组粗深度预测，从而得到高度准确且符合底层场景几何的预测。与现有深度预测技术不同，我们的方法使用在世界空间中联合作用于所有深度图的体素 3D 卷积神经网络（CNN）。因此该网络能够学习有意义的场景级先验。此外，与现有体素 MVS 技术不同，我们的 3D CNN 作用于特征增强的点云，从而实现多视图信息的有效聚合与深度图的灵活迭代细化。实验结果表明，我们的方法在 ScanNet 数据集以及 TUM-RGBD 和 ICL-NUIM 数据集的部分场景上，在深度预测与 3D 重建指标上均超越了最先进的精度。这表明我们的方法既有效又能泛化到新环境。
引用
@article{arxiv.2112.00202,
title = {3DVNet: Multi-View Depth Prediction and Volumetric Refinement},
author = {Alexander Rich and Noah Stier and Pradeep Sen and Tobias Höllerer},
journal= {arXiv preprint arXiv:2112.00202},
year = {2021}
}
备注
10 pages, 6 figures, 3 tables. Accepted to 3DV 2021