SR-Mamba:用于有效手术阶段识别的状态空间模型
计算机视觉与模式识别
2024-07-12 v1
摘要
手术阶段识别对于提高计算机辅助干预的效率和安全性至关重要。这一基本挑战涉及对手术视频中长程时序关系的建模。灵感来自 Mamba 最近的成功,这是一种在序列长度上具有线性可扩展性的状态空间模型。本文提出了 SR-Mamba,一种专为满足手术阶段识别挑战而设计的创新无注意力模型。在 SR-Mamba 中,我们利用双向 Mamba 解码器有效地建模超长序列的时序上下文。此外,对所提出 Mamba 解码器的高效优化促进了单步神经网络训练,无需像以往工作那样的独立训练步骤。这种单步训练方法不仅简化了训练过程,也确保即使在较轻的空间特征提取器下仍能获得更高的准确率。我们的 SR-Mamba 通过在 Cholec80 和 CATARACTS 挑战数据集上Demonstrating state-of-the-art performance,在手术视频分析中建立了新的基准。代码可在 https://github.com/rcao-hk/SR-Mamba 访问。
引用
@article{arxiv.2407.08333,
title = {SR-Mamba: Effective Surgical Phase Recognition with State Space Model},
author = {Rui Cao and Jiangliu Wang and Yun-Hui Liu},
journal= {arXiv preprint arXiv:2407.08333},
year = {2024}
}
备注
Technical Report