FineRecon：用于精细三维重建的深度感知前馈网络
计算机视觉与模式识别
2023-08-22 v2
摘要
近期关于从带位姿图像进行三维重建的研究表明，利用深度神经网络直接推断场景级三维几何而无需测试时优化是可行的，展现出显著的前景与高效率。然而，所重建的几何通常表示为三维截断符号距离函数（TSDF），往往较为粗糙，缺乏精细几何细节。为解决此问题，我们提出三种提升基于推断的三维重建保真度的有效方案。我们首先提出一种分辨率无关的TSDF监督策略，在训练期间为网络提供更准确的学习信号，避免以往工作中TSDF插值的缺陷。随后引入一种利用多视角深度估计的深度引导策略，以增强场景表示并恢复更精确的表面。最后，我们为网络的最终层设计了一种新颖架构，在粗体素特征之外，还将输出TSDF预测以高分辨率图像特征为条件，从而实现精细细节的更锐利重建。我们的方法FineRecon生成平滑且高度准确的重建结果，在多个深度与三维重建指标上均显示出显著提升。
引用
@article{arxiv.2304.01480,
title = {FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction},
author = {Noah Stier and Anurag Ranjan and Alex Colburn and Yajie Yan and Liang Yang and Fangchang Ma and Baptiste Angles},
journal= {arXiv preprint arXiv:2304.01480},
year = {2023}
}
备注
ICCV 2023