CoStoDet-DDPM：通过协同训练随机模型和确定性模型提高手术工作流程预测与识别
计算机视觉与模式识别
2025-03-14 v1
摘要
预测和识别手术工作流程是智能手术辅助系统的关键要求。然而，现有方法依赖确定性决策，难以应对真实手术中固有的大规模解剖和程序变异。在本文中，我们引入一种创新框架，将通过去噪扩散概率模型（DDPM）实现的随机建模融入传统确定性学习，用于手术工作流程分析。我们方法的核心是一种协同共训练范式：DDPM 分支捕获程序中的不确定性，以丰富特征表示，而任务分支则专注于预测手术阶段和器械使用情况。理论上，我们展示了这种相互细化机制对两个分支都有益：DDPM 在不确定情景中降低预测误差，任务分支引导DDPM聚焦于临床上有意义的表示。值得注意的是，DDPM分支在推理时会被丢弃，从而实现实时预测，同时不牺牲准确性。在Cholec80数据集上实验表明，我们的方法在预测任务中实现了较SOTA方法的16% eMAE 降低，在阶段识别中将 Jaccard 分数提高1.0%。此外，在AutoLaparo数据集上，我们的方法在阶段识别的 Jaccard 分数提升1.5%，并展现出对患者特定变异的强大泛化能力。我们的代码和模型权重已在 https://github.com/kk42yy/CoStoDet-DDPM 上提供。
引用
@article{arxiv.2503.10216,
title = {CoStoDet-DDPM: Collaborative Training of Stochastic and Deterministic Models Improves Surgical Workflow Anticipation and Recognition},
author = {Kaixiang Yang and Xin Li and Qiang Li and Zhiwei Wang},
journal= {arXiv preprint arXiv:2503.10216},
year = {2025}
}