MuST：用于手术阶段识别的多尺度 Transformer
计算机视觉与模式识别
2024-07-25 v1 人工智能
摘要
手术视频中的阶段识别对于增强计算机辅助手术系统至关重要，因为它使自动理解顺序性程序阶段成为可能。现有方法通常依赖固定的时间窗口进行视频分析来识别动态手术阶段。因此，它们难以同时捕获短期、中期和长期信息，以完全理解复杂的手术程序。为此，我们提出了一种新的基于 Transformer 的方法，用于手术阶段识别（MuST），该方法结合了多项帧编码器和时序一致性模块，以捕获手术视频中多个时序尺度的信息。我们的多项帧编码器通过在感兴趣帧周围以递增步长对序列进行采样来计算层次时序尺度之间的相互依赖性。此外，我们采用长期 Transformer 编码器对帧嵌入进行进一步的增强，以进一步提高长期推理能力。MuST 在三个不同的公开基准数据集上实现了高于以往最先进方法的更好性能。
引用
@article{arxiv.2407.17361,
title = {MuST: Multi-Scale Transformers for Surgical Phase Recognition},
author = {Alejandra Pérez and Santiago Rodríguez and Nicolás Ayobi and Nicolás Aparicio and Eugénie Dessevres and Pablo Arbeláez},
journal= {arXiv preprint arXiv:2407.17361},
year = {2024}
}