多平面先验引导的少样本空中场景渲染

神经辐射场已成功应用于各种空中场景，但由于监督有限，它们在稀疏视图下面临挑战。获取密集的空中视图通常是不可行的，因为无人机可能面临视角范围和能量限制。在这项工作中，我们引入了多平面先验引导的NeRF（MPNeRF），一种专门针对少样本空中场景渲染的新方法——标志着该领域的开创性努力。我们的关键见解是，可以利用空中图像固有的几何规律性来增强稀疏空中场景中的NeRF。通过研究NeRF和多平面图像的行为，我们提出用多平面先验引导NeRF的训练过程。所提出的多平面先验借鉴了MPI的优势，并通过SwinV2 Transformer（使用SimMIM预训练）融入了高级图像理解。我们的广泛实验表明，MPNeRF在非空中背景下优于现有最先进方法，即使在只有三个视图的情况下，SSIM和LPIPS性能也提高了三倍。我们希望我们的工作能为在数据有限的空中场景中开发基于NeRF的应用提供见解。