用于大规模场景渲染的全局引导焦点神经辐射场
计算机视觉与模式识别
2024-09-16 v2
摘要
神经辐射场(NeRF)最近被应用于大规模场景的渲染。然而，其有限的模型容量通常会导致模糊的渲染结果。现有的大规模NeRF主要通过将场景划分为区块来解决这一局限性，随后由独立的子NeRF进行处理。这些子NeRF从零开始训练并独立处理，导致整个场景的几何和外观不一致。因此，尽管模型容量扩大，渲染质量并未表现出显著提升。在这项工作中，我们提出了一种全局引导焦点神经辐射场(GF-NeRF)，实现了大规模场景的高保真渲染。我们提出的GF-NeRF采用两阶段(全局和焦点)架构和全局引导训练策略。全局阶段获取整个场景的连续表示，而焦点阶段将场景分解为多个区块，并使用不同的子编码器进一步处理它们。利用这种两阶段架构，子编码器只需基于全局编码器进行微调，从而在保持全场景一致性的同时降低了焦点阶段的训练复杂度。来自全局阶段的空间信息和误差信息也有助于子编码器聚焦于关键区域，并有效捕捉大规模场景的更多细节。值得注意的是，我们的方法不依赖于目标场景的任何先验知识，这使得GF-NeRF能够适应各种大规模场景类型，包括街景和航拍视角场景。我们证明了我们的方法在各种类型的大规模数据集上实现了高保真、自然的渲染结果。我们的项目页面：https://shaomq2187.github.io/GF-NeRF/
引用
@article{arxiv.2403.12839,
title = {Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering},
author = {Mingqi Shao and Feng Xiong and Hang Zhang and Shuang Yang and Mu Xu and Wei Bian and Xueqian Wang},
journal= {arXiv preprint arXiv:2403.12839},
year = {2024}
}
备注
WACV 2025