基于空间信息的自适应图学习用于手术流程预测

手术流程预测是从实时视频数据中预测相关手术事件发生时间的任务，这对于机器人辅助手术（RAS）至关重要。准确的预测需要利用空间信息来建模手术互动。然而，现有方法仅关注手术器械，假设器械之间存在静态互动，仅能在固定时间范围内预测手术事件。为此，我们提出一种基于新颖空间表征的手术流程预测自适应图学习框架，包含三个关键创新点。第一，我们引入一种新的空间表征方法，基于手术器械和靶点的边界框，包括其检测置信水平。我们在两个基准数据集上提供额外的注释训练这些表征。第二，我们设计自适应图学习方法以捕获动态互动。第三，我们开发多时域目标，以平衡不同时域的学习目标，实现不受约束的预测。在两个基准数据集上的评估显示，我们在短期至中期预测方面表现优异，手术阶段预测误差降低约 3%，手术剩余时长预测误差降低约 9%。这些性能提升表明了我们方法的有效性，并凸显其在增强 RAS 团队准备与协调方面的潜力。