ReCAP：用于机器人手术技能评估中伪标签生成的递归交叉注意力网络
计算机视觉与模式识别
2026-02-18 v4 人工智能
机器学习
图像与视频处理
摘要
在手术技能评估中，客观结构化技术技能评估（OSATS）和全球评定量表（GRS）是评估受训外科医生的成熟工具。这些指标连同绩效反馈，有助于外科医生改进并达到实践标准。最近对开源JIGSAWS数据集（包含GRS和OSATS标签）的研究集中在从运动学数据、视频或它们的组合中回归GRS分数。然而，我们认为仅回归GRS是有限的，因为它聚合了OSATS分数，并忽略了手术试验中具有临床意义的变异。为了解决这个问题，我们开发了一个弱监督的递归变换器模型，该模型通过将隐藏状态映射到从运动学数据导出的六个OSATS来跟踪外科医生在整个手术过程中的表现。这些OSATS分数被平均以预测GRS，使我们能够将模型的性能与最先进（SOTA）方法进行比较。我们报告的Spearman相关系数（SCC）表明，我们的模型在使用运动学数据时优于SOTA（SCC 0.83-0.88），并与基于视频的模型性能相当。我们的模型在大多数任务的平均OSATS预测（SCC 0.46-0.70）和特定OSATS预测（SCC 0.56-0.95）上也超过了SOTA。在片段级别生成伪标签将定量预测转化为定性反馈，这对于自动化手术技能评估流程至关重要。一位资深外科医生验证了我们模型的输出，同意77%的弱监督预测（p=0.006）。
引用
@article{arxiv.2407.05180,
title = {ReCAP: Recursive Cross Attention Network for Pseudo-Label Generation in Robotic Surgical Skill Assessment},
author = {Julien Quarez and Marc Modat and Sebastien Ourselin and Jonathan Shapey and Alejandro Granados},
journal= {arXiv preprint arXiv:2407.05180},
year = {2026}
}