基于网络的增强现实与自动缩放及实时头部追踪的无标记神经介入术前规划与头戴式机器人针头插入训练

神经外科手术需要极高的精度和全面的术前规划以确保最佳的患者治疗效果。尽管技术不断进步，该领域仍需要直观、易用的工具来增强手术准备和医学教育。传统方法通常缺乏外科医生可视化复杂手术程序和关键神经血管结构所需的沉浸式体验，而现有的先进解决方案可能成本高昂或需要专用硬件。本研究提出了一种新颖的无标记基于网络的增强现实(AR)应用，旨在解决神经介入术前规划和教育中的这些挑战。该应用利用MediaPipe进行精确的面部定位和分割，并利用React Three Fiber进行沉浸式3D可视化，为复杂术前程序提供了一个直观的平台。一个虚拟的2-RPS并联定位器或Skull-Bot模型被实时投影到用户的面部，以高精度模拟手术工具控制。关键功能包括导入并自动缩放头部解剖结构至用户尺寸，以及对齐后实时自动追踪头部运动。基于网络的特性使多个用户能够同时访问，促进手术期间的协作，并允许医学生观察实时手术。一项涉及三名参与者的初步研究通过各种头部旋转练习评估了该应用的自动缩放和自动追踪能力。本研究通过提供一种经济实惠、易用且协作的工具，为该领域做出贡献，以改善神经外科规划和教育，可能带来更好的手术效果和更全面的医学专业人员培训。我们的应用源代码公开获取，地址为 https://github.com/Hillllllllton/skullbot_web_ar。