LeC$^2$O-NeRF: 学习连续且紧凑的大规模占用用于城市场景

在NeRF中，一个关键问题是如何有效估计占用度以指导空域跳过和点采样。基于网格的方法在小规模场景中表现良好。然而，在大规模场景中，它们受限于预定义边界框、网格分辨率以及网格更新的高内存使用，因此难以在不牺牲精度的情况下加速大规模、不规则边界和复杂城市场景的训练。本文提出学习一个连续且紧凑的大规模占用网络，能够将3D点分类为占用或未占用点。我们通过三种设计以自监督方式将该占用网络与辐射场端到端联合训练。首先，提出一种新颖的不平衡占用损失来正则化占用网络。它使占用网络有效控制未占用和占用点的比例，基于大多数3D场景点未被占用的先验。其次，设计一个不平衡架构，包含一个大场景网络和一个小空域网络，分别编码由占用网络分类的占用和未占用点。这种不平衡结构可以有效建模占用和未占用区域的不平衡特性。第三，设计一个显式密度损失来引导占用网络，使未占用点的密度更小。据我们所知，我们是第一个通过网络学习大规模NeRF的连续紧凑占用的。在我们的实验中，与占用网格相比，我们的占用网络可以快速学习更紧凑、准确和平滑的占用。以我们学习的占用作为空域跳过的指导，在具有挑战性的大规模基准测试中，我们的方法始终比占用网格获得更高的精度，并且可以在不牺牲精度的情况下加速最先进的NeRF方法。