NeuralRecon：基于单目视频的实时连贯三维重建
计算机视觉与模式识别
2021-04-02 v1 机器人学
摘要
我们提出了一种名为 NeuralRecon 的新颖框架，用于从单目视频中进行实时三维场景重建。与以往在每帧关键帧上分别估计单视图深度图并随后融合的方法不同，我们提出通过神经网络按顺序直接重建以稀疏 TSDF 体素表示的每个视频片段的局部表面。一个基于门控循环单元的学习型 TSDF 融合模块用于引导网络融合来自先前片段的特征。该设计使网络在顺序重建表面时能够捕获三维表面的局部平滑先验和全局形状先验，从而实现准确、连贯且实时的表面重建。在 ScanNet 和 7-Scenes 数据集上的实验表明，我们的系统在准确率和速度方面均优于最先进的方法。据我们所知，这是首个能够实时重建稠密连贯三维几何的学习型系统。
引用
@article{arxiv.2104.00681,
title = {NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video},
author = {Jiaming Sun and Yiming Xie and Linghao Chen and Xiaowei Zhou and Hujun Bao},
journal= {arXiv preprint arXiv:2104.00681},
year = {2021}
}
备注
Accepted to CVPR 2021 as Oral Presentation. Project page: https://zju3dv.github.io/neuralrecon/