Monocular pose estimation of articulated open surgery tools -- in the wild

本工作提出了一种针对开放手术器械的三维单目姿态估计框架，旨在解决对象关节、镜面反射、遮挡以及合成到真实域适应等挑战。该方法由三个主要组成部分构成：$(1)$ 包含3D扫描手术器械、关节绑定和基于物理的渲染的合成数据生成管道；$(2)$ 定制的姿态估计框架，集成工具检测、姿态估计和关节估计；$(3)$ 基于合成和真实未标注视频数据的训练策略，采用自动生成的伪标签进行域适应。在真实开放手术数据上的评估表明，所提出的框架性能优异且具有实际应用价值，凸显其在医学增强现实和机器人系统集成中的潜力。该方法无需对真实手术数据进行大量手动标注。