基于视觉深度学习的机器人手术量化
机器人学
2022-05-09 v1 计算机视觉与模式识别
机器学习
摘要
手术是一个高风险领域,外科医生必须在完成手头主要任务的同时,规避关键解剖结构并主动避免潜在并发症。此类手术活动已被证明会影响患者的长期预后。为了更好地理解这种关系(其机制对大多数手术而言仍属未知),我们假设必须首先以可靠、客观且可扩展的方式对手术的核心要素进行量化。我们认为这是提供手术反馈和调节外科医生表现以改善患者预后的先决条件。为了整体量化手术,我们提出了一个统一的深度学习框架,称为 Roboformer,它仅基于手术期间记录的视频,独立实现多项任务:手术阶段识别(手术的“是什么”)、手势分类与技能评估(手术的“如何”)。我们在微创机器人手术中两类常见步骤(分离与缝合)的四个基于视频的数据集上验证了我们的框架。我们证明该框架能很好地泛化到未见过的视频、外科医生、医疗中心和手术过程。我们还发现,我们的框架天然支持可解释的发现,并在完成特定任务时识别出相关信息。这些发现可能使外科医生对我们的框架行为更具信心,增加临床采用的可能性,从而为更有针对性的手术反馈铺平道路。
引用
@article{arxiv.2205.03028,
title = {Quantification of Robotic Surgeries with Vision-Based Deep Learning},
author = {Dani Kiyasseh and Runzhuo Ma and Taseen F. Haque and Jessica Nguyen and Christian Wagner and Animashree Anandkumar and Andrew J. Hung},
journal= {arXiv preprint arXiv:2205.03028},
year = {2022}
}