链式动作提示：用于机器人外科视频错误检测的链式动作提示

尽管在机器人系统和外科数据科学方面取得了显著进展，但确保在机器人辅助的微创外科手术（RMIS）中安全和最佳执行仍然是复杂的挑战。当前的外科错误检测方法包含两个部分：识别外科动作，然后在每个动作片段中检测错误。这类方法很少考虑外科视频中固有的丰富的上下文和语义信息，限制了其性能，因为依赖于准确的动作识别。灵感来自自然语言处理中的链式思维提示技术，本文提出一种新型且实时的端到端错误检测框架，即链式动作提示（Chain-of-Gesture, COG），利用外科视频的上下文信息。具体而言，我们首先设计了 Gestural-Visual Reasoning 模块，利用变换器和注意力架构进行动作提示；第二个模块为 Multi-Scale Temporal Reasoning 模块，采用具有慢速和快速路径的多阶段时序卷积网络进行时序信息提取。我们在公开基准数据集 JIGSAWS 上进行了广泛验证。该方法封装了外科活动固有的推理过程，使其在 F1 分数、准确率和 Jaccard 指数上分别优于最先进方法提高了 4.6%、4.6% 和 5.9%，平均每帧处理时间为 6.69 毫秒，展示了该方法在提高 RMIS 程序和外科教育安全性和有效性方面的巨大潜力。代码将 disponible。