SurgPLAN++: 用于在线和离线推理的通用外科阶段定位网络

外科阶段识别对于帮助外科医生理解外科视频至关重要。现有研究更关注于在线外科阶段识别，通过利用前导帧来预测当前帧。尽管取得了显著进展，但它们将任务 formulated 为一系列帧级分类，导致整个程序缺乏全局上下文且预测不连贯。此外，除了在线分析之外，准确的离线外科阶段识别在retrospective analysis中也具有重要临床需求，而现有的在线算法并未充分分析整个视频，从而限制了离线分析中的准确性。为克服这些挑战并增强在线和离线推理能力，我们提出了一个通用的外科阶段定位网络，称为SurgPLAN++，其原理基于时序检测。为确保对外科程序的全局理解，我们为SurgPLAN++设计了一种阶段定位策略，通过阶段提案预测整个视频中的阶段段。对于在线分析，为生成高质量的阶段提案，SurgPLAN++采用数据增强策略，通过镜像、中心复制和下采样将流式视频扩展为伪完整视频。对于离线分析，SurgPLAN++利用其全局阶段预测框架，在每个在线推理步骤中不断细化前导预测，从而显著提高阶段识别的准确性。我们进行了大量实验来验证有效性，SurgPLAN++在两种模式下都取得了卓越的性能，超过了最先进的方法。源代码可在https://github.com/franciszchen/SurgPLAN-Plus上获取。