利用手术活动语法预测腹腔镜手术中的主要意图

手术过程本质上是复杂且动态的，具有复杂的依赖关系和多种执行路径。准确识别关键动作背后的意图，即主要意图（Primary Intentions, PIs），对于理解和规划手术过程至关重要。本文提出了一种新颖的框架，通过将自上而下的语法结构与自下而上的视觉线索相结合，推进了教学视频中的主要意图识别。该语法结构基于丰富的手术过程语料库，提供了关于手术活动的分层视角。一个利用手术活动语法的语法解析器，通过手术动作检测器处理从腹腔镜图像中获取的视觉数据，确保了对视觉信息更精确的解释。在基准数据集上的实验结果表明，我们的方法优于仅依赖视觉特征的现有手术动作检测器。我们的研究为开发具有增强规划和自动化能力的先进机器人手术系统提供了有前景的基础。