无训练检测与未见外科器械的 6D 位姿估计

目的：准确检测和 6D 位姿估计外科器械对于许多计算机辅助干预至关重要。然而，监督方法对新型或未见工具缺乏灵活性，且需要大量标注数据。本工作引入一个无训练管道，用于准确的多视角 6D 位姿估计，仅需带纹理的 CAD 模型作为先验知识。方法：我们的管道包含两个主要阶段。首先，针对检测，在每个视角中生成对象掩码提议，并使用预训练特征提取器对其与渲染模板的相似性进行评分。检测在视角之间匹配、三角化为 3D 实例候选，并使用多视角几何一致性进行筛选。其次，针对位姿估计，一组位姿假设被迭代细化并使用跨视角注意力的特征指标进行评分。最佳假设经历最终的细化，使用新颖的多视角、遮挡感知轮廓配准进行完成，其最小化未遮挡轮廓点的再投影误差。结果：该方法在真实外科数据上进行了严格评估，来自 MVPSP 数据集。该方法实现了毫米级精度的位姿估计，与受控条件下的监督方法相当，同时保持对未见器械的完全泛化。这些结果表明无训练、无标记的检测和跟踪在外科场景中的可行性，揭示了外科环境中的独特挑战。结论：我们提出了一种新颖且灵活的管道，有效结合了最先进的基础模型、多视角几何和轮廓-based 细化，实现对外科器械的高精度 6D 位姿估计，无需任务特定训练。该方法在动态临床环境中实现了稳健的器械跟踪和场景理解。