跨越时间的伙伴：用于手术阶段识别的多尺度动作分割 Transformer
计算机视觉与模式识别
2024-01-23 v1 机器人学
摘要
自动手术阶段识别是现代手术室和在线手术视频评估平台的核心技术。当前最先进的方法利用空间和时间信息来解决手术阶段识别任务。基于这一思路，我们提出了用于离线手术阶段识别的多尺度动作分割 Transformer（MS-AST）和用于在线手术阶段识别的多尺度动作分割因果 Transformer（MS-ASCT）。我们使用 ResNet50 或 EfficientNetV2-M 进行空间特征提取。我们的 MS-AST 和 MS-ASCT 能够通过多尺度时间自注意力和多尺度时间交叉注意力在不同尺度上建模时间信息，从而增强对帧与片段之间时间关系的捕捉。我们证明，我们的方法在 Cholec80 数据集上分别实现了 95.26% 和 96.15% 的在线和离线手术阶段识别准确率，达到了新的最先进结果。我们的方法在视频动作分割领域的非医疗数据集上也能达到最先进结果。
引用
@article{arxiv.2401.11644,
title = {Friends Across Time: Multi-Scale Action Segmentation Transformer for Surgical Phase Recognition},
author = {Bokai Zhang and Jiayuan Meng and Bin Cheng and Dean Biskup and Svetlana Petculescu and Angela Chapman},
journal= {arXiv preprint arXiv:2401.11644},
year = {2024}
}