基于视觉的神经外科引导：无监督局部化与相机姿态预测

在内镜手术期间进行自我定位可能存在问题，原因在于缺乏可区分的纹理和地标，以及由于内镜设备如有限视野和困难的照明条件。需要针对人体内进行定位而需要多年经验积累的专家知识。在本工作中，我们提出了一种基于解剖识别的深度学习方法，该方法以无监督方式从手术视频中构建手术路径，建模相对位置和由于不同观察角度而产生的变化。在推断时，模型可以将不可见的视频帧映射到该路径上并估计观察角度，旨但为提供指导，例如到达特定目的地。我们在由 transsphenoidal adenomectomies 手术视频组成的数据集上进行测试，以及在合成数据集上进行测试。一个在线工具可供研究人员上传其手术视频以获得解剖检测和训练好的 YOLOv7 模型权重，地址为：https://surgicalvision.bmic.ethz.ch。