CurConMix+：面向层次化手术工作流理解的统一时空框架
计算机视觉与模式识别
2026-01-21 v1
摘要
手术动作三元组识别旨在通过建模器械、动作和解剖目标之间的交互来理解细粒度的手术行为。尽管其在工作流分析和技能评估方面具有重要的临床意义，但严重的类别不平衡、细微的视觉变化以及三元组组件间的语义相互依赖性阻碍了其进展。现有方法通常只解决这些挑战中的一部分，而非联合处理，这限制了它们形成整体理解的能力。本研究建立在空间表示框架 CurConMix 之上。其核心是一种课程引导的对比学习策略，用于学习具有判别力且逐步关联的特征，并通过结构化难样本采样和特征级混合进一步增强。其时间扩展版本 CurConMix+ 集成了一个多分辨率时序Transformer（MRTT），通过自适应融合多尺度时序特征并动态平衡时空线索，实现了鲁棒的、上下文感知的理解。此外，我们引入了 LLS48，这是一个针对复杂腹腔镜左肝外侧叶切除术的新分层标注基准数据集，提供了步骤级、任务级和动作级的标注。在 CholecT45 和 LLS48 上的大量实验表明，CurConMix+ 不仅在动作三元组识别上优于最先进的方法，还展现出强大的跨层级泛化能力，其细粒度特征能有效迁移到更高层级的阶段和步骤识别任务中。该框架和数据集共同为层次感知、可复现和可解释的手术工作流理解提供了统一的基础。代码和数据集将在 GitHub 上公开发布，以促进可复现性和进一步研究。
引用
@article{arxiv.2601.12312,
title = {CurConMix+: A Unified Spatio-Temporal Framework for Hierarchical Surgical Workflow Understanding},
author = {Yongjun Jeon and Jongmin Shin and Kanggil Park and Seonmin Park and Soyoung Lim and Jung Yong Kim and Jinsoo Rhu and Jongman Kim and Gyu-Seong Choi and Namkee Oh and Kyu-Hwan Jung},
journal= {arXiv preprint arXiv:2601.12312},
year = {2026}
}