用于手术阶段识别的神经有限状态机
图像与视频处理
2025-03-04 v2 计算机视觉与模式识别
摘要
手术阶段识别（SPR）对于工作流程优化、绩效评估和实时干预指导至关重要。然而，当前深度学习模型常常难以处理分散的预测，无法捕捉手术工作流程的序列性。我们提出了神经有限状态机（NFSM），一种新方法，通过整合经典状态转换先验与现代神经网络来实现时间一致性。NFSM 利用可学习的全局状态嵌入作为唯一的阶段标识符，并动态转换表来建模阶段之间的进程。此外，未来阶段预测机制采用重复帧填充来预判即将发生的转换。作为即插即用模块，NFSM 可集成到现有的 SPR 流程中，而无需更改其核心架构。我们在多个基准数据集上展示了最先进的性能，包括在BernBypass70 数据集上的显著提升——视频级别准确率提高 0.9 分，阶段级别的精确率、召回率、F1 分数和 mAP 分别提高 3.8、3.1、3.3 和 4.1。消融研究确认每个组件的有效性以及该模块对各种架构的适应性。通过将有限状态原则与深度学习统一，NFSM 为实现一致的、长期的手术视频分析提供了稳健的路径。
引用
@article{arxiv.2411.18018,
title = {Neural Finite-State Machines for Surgical Phase Recognition},
author = {Hao Ding and Zhongpai Gao and Benjamin Planche and Tianyu Luan and Abhishek Sharma and Meng Zheng and Ange Lou and Terrence Chen and Mathias Unberath and Ziyan Wu},
journal= {arXiv preprint arXiv:2411.18018},
year = {2025}
}