SWAG：基于生成方法的长期外科工作流程预测
计算机视觉与模式识别
2025-06-17 v4 机器学习
摘要
虽然现有方法在识别当前外科阶段方面表现出色，但它们提供的前瞻视角和内镜操作中的未来步骤指导有限。同样，当前的预测方法受限于预测短期和单一事件，忽略了外科工作流程的稠密、重复且长序列特性。为此，我们提出了SWAG（Surgical Workflow Anticipative Generation，外科工作流程预测生成），一个结合阶段识别与预测的生成方法框架。本文研究了两种不同的解码方法——单遍解码（single-pass, SP）和自回归（auto-regressive, AR）——用于在长时间尺度上以分钟为间隔生成未来外科阶段序列。我们提出了一种新颖的嵌入方法，利用类别转换概率来增强阶段预测的准确性。此外，我们提出了一种基于剩余时间回归到分类（remaining time regression to classification, R2C）的生成框架。我们在两个公开数据集上对SWAG进行了评估，即Cholec80和AutoLaparo21。在Cholec80上，采用类别转换概率嵌入的单遍模型（SP*）在20分钟和30分钟上的F1分数分别为32.1%和41.3%。此外，我们的方法在阶段剩余时间回归任务上与现有方法竞争，分别在2分钟和3分钟的预测范围内实现加权平均绝对误差为0.32和0.48分钟。SWAG在各种生成解码框架和分类、回归任务中展现出灵活性，实现了外科工作流程识别与预测之间的时间连续性。我们的方法为实现内镜操作中工作流程生成以进行预测提供了一步步的探索。项目：https://maxboels.com/research/swag。
引用
@article{arxiv.2412.18849,
title = {SWAG: Long-term Surgical Workflow Prediction with Generative-based Anticipation},
author = {Maxence Boels and Yang Liu and Prokar Dasgupta and Alejandro Granados and Sebastien Ourselin},
journal= {arXiv preprint arXiv:2412.18849},
year = {2025}
}
备注
Accepted at IJCARS, Demo website: https://maxboels.com/research/swag