Omni-Recon：利用基于图像的渲染构建通用神经辐射场

神经辐射场（Neural Radiance Fields, NeRFs）的近期突破激发了将其整合到真实世界 3D 应用中的重大需求。然而，不同 3D 应用所需的各种功能往往需要具有不同管线的多样化 NeRF 模型，导致为每个目标任务进行繁琐的 NeRF 训练和繁杂的试错实验。受新兴基础模型的泛化能力和适应性的启发，我们的工作旨在开发一种用于处理多样化 3D 任务的通用 NeRF。我们通过提出一个名为 Omni-Recon 的框架来实现这一点，该框架能够实现：(1) 可泛化的 3D 重建与零样本多任务场景理解，以及 (2) 对多样化下游 3D 应用（如实时光照渲染和场景编辑）的适应性。我们的关键洞察是，具有准确几何和外观估计的基于图像的渲染管线可以将 2D 图像特征提升为其 3D 对应物，从而以可泛化的方式将广泛探索的 2D 任务扩展到 3D 世界。具体而言，我们的 Omni-Recon 采用基于图像的渲染构建了一个通用 NeRF 模型，包含两个解耦分支：一个复杂的基于 transformer 的分支，逐步融合几何和外观特征以实现准确的几何估计；以及一个轻量级分支，用于预测源视图的混合权重。这种设计实现了 state-of-the-art (SOTA) 的可泛化 3D 表面重建质量，且混合权重可在不同任务中复用，以实现零样本多任务场景理解。此外，它可以在将复杂几何分支烘焙成网格后实现实时光照渲染，快速适应以实现 SOTA 的可泛化 3D 理解性能，并无缝集成 2D 扩散模型以进行文本引导的 3D 编辑。