面向大规模神经辐射场的异质混合场景专家学习
计算机视觉与模式识别
2025-08-26 v2
摘要
近期针对大规模场景的NeRF方法强调了场景分解对于可扩展NeRF的重要性。尽管实现了合理的可扩展性，但仍存在几个关键问题尚未探索，即可学习的分解、场景异质性建模和建模效率。本文提出Switch-NeRF++，一个异质混合哈希专家（HMoHE）网络，在统一框架内解决这些挑战。它是一种高度可扩展的NeRF，能够以端到端的方式高效学习大规模场景的异质分解和异质NeRF。在我们的框架中，一个门控网络学习分解场景并将3D点分配给专门的NeRF专家。该门控网络通过我们提出的稀疏门控混合专家（MoE）NeRF框架与专家共同优化。我们结合了基于哈希的门控网络和不同的异质哈希专家。基于哈希的门控高效地学习大规模场景的分解。不同的异质哈希专家由不同分辨率范围的哈希网格组成，能够有效学习不同场景部分的异质表示。这些设计选择使我们的框架成为面向真实世界大规模场景建模的端到端且高度可扩展的NeRF解决方案，同时兼顾质量和效率。我们在现有大规模NeRF数据集和来自UrbanBIS的包含超大规模场景（>6.5km²）的新数据集上评估了我们的精度和可扩展性。大量实验表明，我们的方法可以轻松扩展到各种大规模场景，并实现最先进的场景渲染精度。此外，我们的方法表现出显著的效率，与Switch-NeRF相比，训练加速8倍，渲染加速16倍。代码将在https://github.com/MiZhenxing/Switch-NeRF发布。
引用
@article{arxiv.2505.02005,
title = {Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields},
author = {Zhenxing Mi and Ping Yin and Xue Xiao and Dan Xu},
journal= {arXiv preprint arXiv:2505.02005},
year = {2025}
}
备注
Accepted by TPAMI