基于视频的长期器械追踪用于手术技能评估
计算机视觉与模式识别
2022-07-07 v1
摘要
掌握执行手术所需的技术技能是一项极具挑战性的任务。基于视频的评估使外科医生能够获得关于其技术技能的反馈，以促进学习与发展。目前，这种反馈主要来自人工视频审阅，其耗时且限制了在多个病例中追踪外科医生进展的可行性。在这项工作中，我们引入了一种基于运动的方法，从手术病例视频流中自动评估手术技能。所提出的流程首先可靠地追踪手术器械以创建运动轨迹，然后利用这些轨迹预测外科医生的技术技能水平。追踪算法采用了一个简单而有效的重识别模块，与其他最先进的方法相比降低了ID切换。这对于在器械定期移出和移入屏幕或周期性被遮挡时创建可靠的器械轨迹至关重要。基于运动的分类模型采用了最先进的自注意力transformer网络来捕捉对技能评估至关重要的短期和长期运动模式。所提出的方法在体外（Cholec80）数据集上进行了评估，其中专家评级的Calot三角解剖GOALS技能评估被用作定量技能度量。我们将基于transformer的技能评估与使用所提出的和最先进追踪的传统机器学习方法进行比较。我们的结果表明，使用来自可靠追踪方法的运动轨迹有益于仅基于视频流评估外科医生技能。
引用
@article{arxiv.2207.02247,
title = {Video-based Surgical Skills Assessment using Long term Tool Tracking},
author = {Mona Fathollahi and Mohammad Hasan Sarhan and Ramon Pena and Lela DiMonte and Anshu Gupta and Aishani Ataliwala and Jocelyn Barker},
journal= {arXiv preprint arXiv:2207.02247},
year = {2022}
}
备注
Accepted at MICCAI 2022