DACAT：面向稳健在线外科手术阶段识别的双流自适应剪辑感知时间建模
计算机视觉与模式识别
2024-09-11 v1
摘要
外科手术阶段识别已成为腹式手术中至关重要的要求，使各种临床应用（如手术风险预测）得以实现。当前方法通常使用单个帧级嵌入作为时间建模的基本单元。然而，这种方法对当前观察过于敏感，常导致整个手术阶段内预测不连续且错误。在本文中，我们提出了 DACAT，这是一种新型双流模型，自适应学习剪辑感知的上下文信息以增强时间关系。在一路中，DACAT 对帧编码器进行预训练，缓存所有历史帧级特征。在另一路中，DACAT 微调新的帧编码器以提取当前时刻的帧级特征。此外，引入一个最大剪辑响应读出（Max-R）模块用于通过使用当前帧级特征自适应获取特征缓存中最相关的过去剪辑。随后，剪辑感知的上下文特征通过当前帧与其获取的自适应剪辑之间的跨注意力进行编码，并进一步用于提高准确的在线手术阶段识别。在三个公共数据集（即 Cholec80、M2CAI16 和 AutoLaparo）上的基准结果表明，我们提出的 DACAT 在与现有领先方法相比，以至少 4.5%、4.6% 和 2.7% 的 Jaccard 分数取得优势。我们的代码和模型已发布于 https://github.com/kk42yy/DACAT。
引用
@article{arxiv.2409.06217,
title = {DACAT: Dual-stream Adaptive Clip-aware Time Modeling for Robust Online Surgical Phase Recognition},
author = {Kaixiang Yang and Qiang Li and Zhiwei Wang},
journal= {arXiv preprint arXiv:2409.06217},
year = {2024}
}
备注
5 pages, 4 figures