Aerial Lifting：基于航空影像的神经城市语义与建筑实例提升

我们提出了一种神经辐射场方法，通过将含噪 2D 标签提升至 3D，实现从航空影像中进行城市尺度的语义分割与建筑级别的实例分割。由于两个主要原因，这是一个具有挑战性的问题。首先，城市航空影像中的物体（包括建筑物、汽车和道路）在尺寸上表现出巨大的差异，这对精确的 2D 分割构成了重大挑战。其次，现有分割方法生成的 2D 标签存在多视图不一致问题，在航空影像的情况下尤为严重，因为每张影像仅捕获整个场景的一小部分。为了克服这些局限性，我们首先引入了一种尺度自适应的语义标签融合策略，该策略通过结合从不同高度预测的标签，利用 NeRF 的新视图合成能力，增强了不同尺寸物体的分割效果。然后，我们引入了一种基于 3D 场景表示的新型跨视图实例标签分组策略，以缓解 2D 实例标签中的多视图不一致问题。此外，我们利用多视图重建深度先验来提高重建辐射场的几何质量，从而增强分割结果。在多个真实世界城市尺度数据集上的实验表明，我们的方法优于现有方法，突显了其有效性。