具有序列正则化的手术时序动作感知网络用于手术阶段识别
计算机视觉与模式识别
2023-11-23 v2
摘要
为在手术室中辅助外科医生，手术阶段识别对开发计算机辅助手术系统至关重要，这需要对外科手术视频有全面理解。尽管现有研究取得很大进展，仍存在两个值得改进的显著局限。首先，由于资源消耗的折中，逐帧视觉特征由 2D 网络提取，忽视了手术动作的空间与时间知识，阻碍了后续帧间建模用于阶段预测。其次，这些工作简单地利用带独热阶段标签的普通分类损失来优化阶段预测，无法在不足监督下充分挖掘手术视频。为克服这两点局限，我们提出一种带序列正则化的手术时序动作感知网络，名为 STAR-Net，以从输入视频更准确地识别手术阶段。具体而言，我们提出一个高效的多尺度手术时序动作（MS-STA）模块，以 2D 网络的代价将视觉特征与手术动作的空间和时间知识相融合。此外，我们设计了双分类器序列正则化（DSR），通过具有较小容量的辅助分类器的序列引导来促进 STAR-Net 的训练。我们的 STAR-Net 结合 MS-STA 与 DSR，能利用手术动作的视觉特征并施以有效正则化，从而取得优越的手术阶段识别性能。在大规模胃切除术数据集与公开 Cholec80 基准上的大量实验证明，我们的 STAR-Net 显著优于手术阶段识别的现有最优方法。
引用
@article{arxiv.2311.12603,
title = {Surgical Temporal Action-aware Network with Sequence Regularization for Phase Recognition},
author = {Zhen Chen and Yuhao Zhai and Jun Zhang and Jinqiao Wang},
journal= {arXiv preprint arXiv:2311.12603},
year = {2023}
}
备注
Accepted by 2023 IEEE International Conference on Bioinformatics and Biomedicine (BIBM 2023)