SceneFactory：面向工作流程的增量场景建模统一框架
摘要
我们提出 SceneFactory，一个以工作流程为中心且统一的增量场景建模框架，方便支持广泛的应用，例如（未对准且/或未标定的）多视图深度估计、LiDAR 完善、（密集的）RGB-D/RGB-L/单目/深度-only 重建和 SLAM。工作流程中心化的设计使用多个模块作为构建不同生产线的基础。支持的应用（即生产）在其设计中避免冗余，因此重点放在每个模块本身以便独立扩展。为了支持所有输入组合，我们的实现由四个构建模块组成构成 SceneFactory：（1）跟踪，（2）弯曲，（3）深度估计，和（4）场景重建。跟踪模块基于单目 SLAM，扩展以支持 RGB-D 和 RGB-LiDAR（RGB-L）输入。弯曲用于将深度图像（不可跟踪）转换为可跟踪图像。对于通用目的的深度估计，我们提出了一个未对准且未标定的多视图深度估计模型（U-MVD）来估计稠密几何。U-MVD 利用稠密束调整来求解姿态、内参和逆深度。随后引入语义感知的 ScaleCov 步骤来完成多视图深度。依赖于 U-MVD，SceneFactory 同时支持用户友好的 3D 创建（仅使用图像）并桥接了密集 RGB-D 和密集单目的应用。对于高质量的表面和颜色重建，我们提出了 Dual-purpose Multi-resolutional Neural Points（DM-NPs），首次实现面向 Surface 可访问的 Surface Color Field 设计，其中引入 Improved Point Rasterization（IPR）用于基于点云的表面查询。...
引用
@article{arxiv.2405.07847,
title = {SceneFactory: A Workflow-centric and Unified Framework for Incremental Scene Modeling},
author = {Yijun Yuan and Michael Bleier and Andreas Nüchter},
journal= {arXiv preprint arXiv:2405.07847},
year = {2025}
}
备注
Accepted to IEEE Transactions on Robotics (T-RO). For project page and code, please find https://jarrome.github.io/SceneFactory/