利用可见性与特征增强点表示学习鲁棒可泛化的辐射场

本文为可泛化神经辐射场引入了一种新范式。先前的通用NeRF方法将多视图立体视觉技术与基于图像的神经渲染相结合以实现泛化，取得了令人印象深刻的结果，但存在三个问题。首先，遮挡通常会导致不一致的特征匹配。其次，由于它们对采样点的独立处理和粗略的特征聚合，在几何不连续和局部尖锐形状处会产生扭曲和伪影。第三，当源视图与目标视图不够接近时，它们基于图像的表示会经历严重的退化。为了解决这些挑战，我们提出了第一个基于点而非基于图像渲染来构建可泛化神经场的范式，我们称之为可泛化神经点场。我们的方法通过几何先验显式地建模可见性，并用神经特征对其进行增强。我们提出了一种新颖的非均匀对数采样策略，以同时提高渲染速度和重建质量。此外，我们提出了一个可学习的、在空间上用特征增强的核，用于特征聚合，从而减轻了几何形状剧烈变化处的扭曲。此外，我们的表示可以轻松地进行操控。实验表明，在泛化和微调设置下，我们的模型在三个数据集上都能提供比所有对应方法和基准更好的几何形状、视图一致性和渲染质量，初步证明了这种新范式在可泛化NeRF方面的潜力。