sshELF：稀疏视图三维重建的单次层次化隐层特征外推
计算机视觉与模式识别
2025-02-07 v1
摘要
从稀疏外向视图重建无限远户外场景具有显著挑战，因视图重叠最小。先前方法缺乏跨场景理解，其原始图形中心化表述将局部特征过度依赖以弥补缺失的全局上下文，导致未观察区域出现模糊。我们提出 sshELF，一种基于层次化隐层特征外推的稀疏视图三维场景重建的快速单次管线。我们的关键洞察在于：将信息外推与原始图形解码分离，可实现跨训练场景的结构模式高效迁移。我们的方法：(1) 学习跨场景先验生成中间虚拟视图以外推至未观测区域；(2) 提出两阶段网络设计，将虚拟视图生成与三维原始图形解码分离，以实现高效训练和模块化模型设计；(3) 集成预训练基础模型用于联合推断隐层特征和纹理，提升场景理解与泛化能力。sshELF 可从六个稀疏输入视图重建三十六度场景，并在合成和真实数据集上取得竞争成绩。我们发现 sshELF 忠实地重建遮挡区域，支持实时渲染，并为下游应用提供丰富的隐层特征。代码将对外发布。
引用
@article{arxiv.2502.04318,
title = {sshELF: Single-Shot Hierarchical Extrapolation of Latent Features for 3D Reconstruction from Sparse-Views},
author = {Eyvaz Najafli and Marius Kästingschäfer and Sebastian Bernhard and Thomas Brox and Andreas Geiger},
journal= {arXiv preprint arXiv:2502.04318},
year = {2025}
}
备注
Joint first authorship