Trans-SVNet：通过混合嵌入聚合 Transformer 从手术视频中精确识别阶段
计算机视觉与模式识别
2021-07-13 v2 人工智能
摘要
实时手术阶段识别是现代手术室中的基础任务。以往工作依赖按时空顺序排列的架构来解决该任务，然而并未考虑中间空间特征的辅助增益。本文在手术工作流分析中首次引入 Transformer，以重新考量被忽略的空间与时间特征的互补效应，从而实现精确的手术阶段识别。我们的混合嵌入聚合 Transformer 通过基于时序嵌入序列中的空间信息主动查询，巧妙融合精心设计的时间与空间嵌入。更重要的是，我们的框架并行处理混合嵌入，以实现高推理速度。该方法在两个大型手术视频数据集（即 Cholec80 与 M2CAI16 挑战赛数据集）上得到充分验证，并以 91 fps 的处理速度优于当前最优方法。
引用
@article{arxiv.2103.09712,
title = {Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer},
author = {Xiaojie Gao and Yueming Jin and Yonghao Long and Qi Dou and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2103.09712},
year = {2021}
}
备注
MICCAI2021