EPRecon：基于单目视频的实时全景 3D 重建高效框架
计算机视觉与模式识别
2024-09-23 v2
摘要
单目视频全景 3D 重建是机器人场景理解中的基础感知任务。然而，现有方法在推理速度和准确性方面效率不足，限制了实际应用。我们提出了 EPRecon，一个高效的实时全景 3D 重建框架。当前基于体积的重建方法通常利用多视角深度图融合获取场景深度先验，这既耗时又制约实时场景重建。为此，我们提出了一个轻量级模块，直接在 3D 体素中估计场景深度先验，通过生成所有体素的占据概率来提高重建质量。此外，与现有全景分割方法相比，EPRecon 从体素特征和对应的图像特征中提取全景特征，获得更详细和全面的实例级语义信息，实现更精确的分割结果。在 ScanNetV2 数据集上的实验结果表明，EPRecon 在全景 3D 重建质量和实时推理方面均优于当前最先进的方法。代码已公开：https://github.com/zhen6618/EPRecon。
引用
@article{arxiv.2409.01807,
title = {EPRecon: An Efficient Framework for Real-Time Panoptic 3D Reconstruction from Monocular Video},
author = {Zhen Zhou and Yunkai Ma and Junfeng Fan and Shaolin Zhang and Fengshui Jing and Min Tan},
journal= {arXiv preprint arXiv:2409.01807},
year = {2024}
}