深度驱动的几何提示学习用于腹腔镜肝脏地标检测
计算机视觉与模式识别
2024-06-28 v2
摘要
腹腔镜肝脏手术为外科医生提供了一个复杂的术中动态环境，区分肝脏内部关键甚至隐藏的结构仍然是一个重大挑战。肝脏解剖学地标，例如嵴和韧带，是2D-3D对齐的重要标记，可以显著增强外科医生进行精确手术的空间感知。为了促进腹腔镜肝脏地标的检测，我们收集了一个名为L3D的新数据集，该数据集包含来自两个医疗中心39名患者手术视频的1152帧图像，并带有精细的地标标注。为了进行基准测试，我们选取了12种主流检测方法并在L3D上进行了全面评估。此外，我们提出了一种深度驱动的几何提示学习网络，即D2GPLand。具体来说，我们设计了一个深度感知提示嵌入（DPE）模块，该模块由自监督提示引导，并利用从基于SAM的特征中提取的全局深度线索生成语义相关的几何信息。此外，引入了一种语义特定几何增强（SGA）方案，通过反向解剖感知有效地融合RGB-D空间和几何信息。实验结果表明，D2GPLand在L3D上取得了最先进的性能，DICE和IoU分数分别达到63.52%和48.68%。结合2D-3D融合技术，我们的方法可以直接在腹腔镜场景中为外科医生提供直观的指导信息。
引用
@article{arxiv.2406.17858,
title = {Depth-Driven Geometric Prompt Learning for Laparoscopic Liver Landmark Detection},
author = {Jialun Pei and Ruize Cui and Yaoqian Li and Weixin Si and Jing Qin and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2406.17858},
year = {2024}
}
备注
This paper has been accepted by MICCAI 2024