基于单摄像机的头部姿态估计与3D神经表面重建用于导航和安全插入自然开放口中

随着模拟在医疗护理和干预中的重要性不断增长，预计可以搭建一个简化且低成本的平台来执行个性化诊断和治疗。3D Slicer不仅可以进行医学图像分析和可视化，还能提供外科导航和外科规划功能。本文我们选择3D Slicer作为基础平台，使用单摄像机作为传感器。然后，我们使用神经辐射场（NeRF）算法完成对人类头部的3D模型重建。我们比较了NeRF算法在生成3D人类头部场景方面的精度，并利用MarchingCube算法生成相应的3D网格模型。通过单摄像机视觉获取的个体头部姿态实时传输到3D Slicer场景中。本文所演示的包括在3D Slicer场景中与检测到的头部姿态之间实现的实时同步变换。此外，我们测试了一个工具场景，该工具标记了ArUco标记，由单摄像机跟踪，同步指向头部姿态的实时变换。这些演示表明，我们的方法可以为鼻咽部拭子采集或气管插管提供一个可行的实时模拟平台。