SurgPose：基于零样本学习与立体视觉的通用手术器械姿态估计
计算机视觉与模式识别
2025-05-19 v1 人工智能
机器学习
机器人学
摘要
在机器人辅助微创手术（RMIS）中，手术工具的精确姿态估计对于手术导航和机器人控制至关重要。传统的基于标记的方法虽然精度高，但面临遮挡、反射和工具特定设计的挑战。同样，监督学习方法需要大量标注数据集进行训练，限制了其对新工具的适应性。尽管零样本姿态估计模型在其他领域取得了成功，但在RMIS中用于手术器械姿态估计的研究仍属空白，这造成了在泛化到未见手术工具方面的差距。本文提出了一种新颖的手术器械6自由度（DoF）姿态估计流程，利用了最先进的零样本RGB-D模型，如FoundationPose和SAM-6D。我们通过采用RAFT-Stereo方法进行基于视觉的深度估计，提升了这些模型在反射和无纹理环境中的鲁棒深度估计能力。此外，我们通过用微调后的Mask R-CNN替换其实例分割模块Segment Anything Model（SAM），增强了SAM-6D，显著提高了在遮挡和复杂条件下的分割精度。大量验证表明，我们增强的SAM-6D在未见手术器械的零样本姿态估计方面超越了FoundationPose，为RMIS中的零样本RGB-D姿态估计设立了新的基准。这项工作增强了未见物体姿态估计的泛化能力，并开创了RGB-D零样本方法在RMIS中的应用。
引用
@article{arxiv.2505.11439,
title = {SurgPose: Generalisable Surgical Instrument Pose Estimation using Zero-Shot Learning and Stereo Vision},
author = {Utsav Rai and Haozheng Xu and Stamatia Giannarou},
journal= {arXiv preprint arXiv:2505.11439},
year = {2025}
}
备注
To be published in 2025 International Conference on Robotics and Automation (ICRA)