UC-NeRF: 基于内窥镜稀疏视角的不确定性感知条件神经辐射场

在微创手术过程中，可视化手术场景对于揭示内部解剖结构至关重要。新视角合成是一项关键技术，可提供几何与外观重建，从而增强对手术场景的理解、规划与决策。尽管神经辐射场（NeRF）取得了令人瞩目的成就，但将其直接应用于手术场景会产生不理想的结果，原因在于两大挑战：内窥镜稀疏视角与显著的光度不一致性。本文中，我们提出了用于新视角合成的不确定性感知条件NeRF，以解决稀疏手术视角下严重的形状-辐射模糊问题。UC-NeRF的核心是结合多视角不确定性估计来条件化神经辐射场，从而自适应地建模严重的光度不一致性。具体而言，我们的UC-NeRF首先构建了一个多视图立体网络形式的一致性学习器，以建立稀疏视角间的几何对应关系，并生成不确定性估计与特征先验。在神经渲染中，我们设计了一个基础自适应NeRF网络，利用不确定性估计来显式处理光度不一致性。此外，采用不确定性引导的几何蒸馏来增强几何学习。在SCARED和Hamlyn数据集上的实验表明，我们在渲染外观与几何方面表现优异，持续超越当前最先进的方法。我们的代码将发布于 https://github.com/wrld/UC-NeRF。