机器人手术中工具分割的合成与真实输入
计算机视觉与模式识别
2020-07-28 v2 机器学习
机器人学
摘要
手术视频中的语义工具分割对于手术场景理解、计算机辅助介入以及机器人自动化开发十分重要。该问题具有挑战性,因为不同的光照条件、出血、烟雾和遮挡会降低算法鲁棒性。目前用于训练深度学习模型的语义手术器械分割标注数据仍然匮乏,本文中我们表明,或可利用机器人运动学数据结合腹腔镜图像来缓解标注问题。我们提出一种基于深度学习的新模型,用于并行处理腹腔镜与仿真图像,以实现手术工具的鲁棒分割。由于缺乏同时标注分割真值与运动学信息的腹腔镜帧,我们使用da Vinci Research Kit (dVRK)生成了一个新的自定义数据集并公开提供。
引用
@article{arxiv.2007.09107,
title = {Synthetic and Real Inputs for Tool Segmentation in Robotic Surgery},
author = {Emanuele Colleoni and Philip Edwards and Danail Stoyanov},
journal= {arXiv preprint arXiv:2007.09107},
year = {2020}
}