用于手术缝线交互式感知与自主缝线尾端缩短的自监督学习

在自动化手术缝合中,缝线的精确 3D 感知是一个具有挑战性的问题,原因在于缝线的高状态空间复杂度、细薄性与可变形性,以及被持针器与组织遮挡的可能性。在本工作中,我们提出一种在 3D 中跟踪手术缝线的方法,该方法对遮挡和复杂缝线构型具有鲁棒性,并将其应用于自主执行手术缝合“尾端缩短”任务:将缝线从组织中拉出直至留下所需的“尾端”长度。该方法利用一个学得的 2D 手术缝线检测网络在 RGB 图像中分割缝线。随后其在 2D 中识别缝线路径,并通过三角化来自两个立体相机的检测将缝线重建为 NURBS 样条。一旦初始化 3D 缝线模型,该方法在后续帧中跟踪缝线。实验表明,该方法在具有挑战性的单帧 3D 缝线重建上达到 1.33 像素平均重投影误差,在两个跟踪序列上达到 0.84 像素平均重投影误差。在尾端缩短任务上,其在 20 次试验中取得了 90% 的成功率。补充材料见 https://sites.google.com/berkeley.edu/autolab-surgical-thread/ 。