SAMSNeRF：分割一切模型（SAM）引导基于神经辐射场（NeRF）的动态手术场景重建

从手术视频中精确重建手术场景对于术中导航与图像引导机器人手术自动化等多种应用至关重要。然而，以往主要依赖深度估计的方法在重建含移动手术器械的手术场景时效果有限。为解决此局限并为所有帧中的手术器械提供准确的三维位置预测，我们提出一种结合分割一切模型（SAM）与神经辐射场（NeRF）技术的新方法 SAMSNeRF。我们的方法利用 SAM 生成手术器械的精确分割掩码，引导 NeRF 对动态手术场景重建的细化。我们在公开内窥镜手术视频上的实验结果表明，我们的方法成功重建了高保真动态手术场景，并准确反映了手术器械的空间信息。我们所提方法可通过在术中为外科医生提供手术器械的准确三维位置信息，显著增强手术导航与自动化。源代码将很快发布。