面向多拓扑与环境噪声下手术缝线重建与自主抓取的空间优化学习驱动框架
机器人学
2020-07-03 v1
摘要
手术打结是手术中最基本且重要的步骤之一，高质量的结可显著有益于患者术后恢复。然而，长时间操作易使外科医生疲劳，尤其在繁琐的伤口闭合任务中。本文提出一种基于视觉的方法以自动化缝线抓取，这是手术打结中的子任务，也是缝合与套环操作之间的中间步骤。为实现该目标，获取缝线的三维（3D）信息至关重要。为此，我们首先采用迁移学习策略，通过学习大量遗留手术数据及现场设备所获取图像的信息来微调预训练模型。从而可实现鲁棒的缝线分割，而不受固有环境噪声影响。我们进一步基于多拓扑分析，利用带终止策略的搜索策略进行缝线序列推断。可获得沿缝线的像素级序列精确结果，并可通过我们优化的最短路径方法进一步用于3D形状重建。最终可获取考虑缝合准则的抓取点。我们在环境噪声下对缝线2D分割与排序序列推断进行了广泛实验评估。自动化抓取操作相关结果通过 V-REP 中的仿真以及采用 Universal Robot (UR) 与 da Vinci Research Kit (dVRK) 结合我们学习驱动框架的机器人实验予以展示。
引用
@article{arxiv.2007.00920,
title = {A Learning-Driven Framework with Spatial Optimization For Surgical Suture Thread Reconstruction and Autonomous Grasping Under Multiple Topologies and Environmental Noises},
author = {Bo Lu and Wei Chen and Yue-Ming Jin and Dandan Zhang and Qi Dou and Henry K. Chu and Pheng-Ann Heng and Yun-Hui Liu},
journal= {arXiv preprint arXiv:2007.00920},
year = {2020}
}