基于实时图像的无监督嵌入神经外科手术引导与路径图生成
计算机视觉与模式识别
2024-04-25 v1
摘要
先进微创神经外科导航主要依赖磁共振成像（MRI）引导。然而，在大多数情况下，MRI引导仅提供术前信息。一旦手术开始，由于手术引起的解剖结构变化，该引导的价值在某种程度上会降低。来自手术设备（如内窥镜）的实时图像反馈引导可以补充基于MRI的导航，或在无法进行MRI引导时作为替代方案。基于此动机，我们提出了一种利用大型标注神经外科手术视频数据集的纯实时图像引导方法。首先，我们报告了基于深度学习的物体检测方法YOLO在神经外科手术图像中检测解剖结构的性能。其次，我们提出了一种使用无监督嵌入生成神经外科手术路径图的方法，该方法不要求患者间精确的解剖匹配、存在广泛的解剖图谱，或需要同步定位与建图。生成的路径图编码了训练集中手术所采用的常见解剖路径。在推理时，路径图可用于通过实时图像反馈将外科医生当前位置映射到路径上，从而通过能够预测前后应出现的结构来提供引导，类似于地图应用。尽管该嵌入未由位置信息监督，我们表明其与脑内位置及手术路径相关。我们使用166例经蝶窦腺瘤切除术的数据集对提出的方法进行了训练和评估。
引用
@article{arxiv.2303.18019,
title = {Live image-based neurosurgical guidance and roadmap generation using unsupervised embedding},
author = {Gary Sarwin and Alessandro Carretta and Victor Staartjes and Matteo Zoli and Diego Mazzatenta and Luca Regli and Carlo Serra and Ender Konukoglu},
journal= {arXiv preprint arXiv:2303.18019},
year = {2024}
}