基于分层输入依赖状态空间模型的整体手术阶段识别
计算机视觉与模式识别
2025-06-27 v1 人工智能
摘要
手术工作流分析在机器人辅助手术中至关重要，然而此类手术的长时间特性对全面的视频分析构成了重大挑战。近期方法主要依赖Transformer模型，但其二次注意力机制限制了长手术视频的高效处理。本文提出了一种新颖的分层输入依赖状态空间模型，利用状态空间模型的线性缩放特性，在捕捉局部和全局动态的同时，实现对全长视频的决策。我们的框架包含一个时间一致的视觉特征提取器，它将一个状态空间模型头部附加到视觉特征提取器上以传播时间信息。所提出的模型由两个关键模块组成：一个有效捕捉复杂局部动态的局部聚合状态空间模型块，以及一个对整个视频的时间依赖性进行建模的全局关系状态空间模型块。该模型采用混合离散-连续监督策略进行训练，其中离散的阶段标签和连续的阶段进展信号都通过网络传播。实验表明，我们的方法大幅优于当前最先进的方法（在Cholec80数据集上+2.8%，在MICCAI2016数据集上+4.3%，在Heichole数据集上+12.9%）。论文被接收后，代码将公开。
引用
@article{arxiv.2506.21330,
title = {Holistic Surgical Phase Recognition with Hierarchical Input Dependent State Space Models},
author = {Haoyang Wu and Tsun-Hsuan Wang and Mathias Lechner and Ramin Hasani and Jennifer A. Eckhoff and Paul Pak and Ozanan R. Meireles and Guy Rosman and Yutong Ban and Daniela Rus},
journal= {arXiv preprint arXiv:2506.21330},
year = {2025}
}