中文

AMNCutter:亲和力-注意力引导的多视角归一化切割器用于无监督手术器械分割

计算机视觉与模式识别 2024-11-08 v2

摘要

手术器械分割(SIS)对于机器人辅助微创手术至关重要,通过在内窥镜视频帧中识别手术器械来辅助外科医生。近期无监督手术器械分割(USIS)方法主要依赖从颜色和光流等低级特征派生的伪标签,但这些方法在复杂和未见的内窥镜场景中表现出有限的有效性和泛化能力。在本工作中,我们提出了一种无标签的无监督模型,其核心模块名为多视角归一化切割器(m-NCutter)。与先前的USIS工作不同,我们的模型使用图割损失函数进行训练,利用块亲和性进行监督,无需伪标签。该框架自适应地确定应优先处理哪些层级和哪些亲和性。因此,低级和高级特征及其亲和性被有效整合,以训练一个无标签的无监督模型,展现出优越的有效性和泛化能力。我们在多个SIS数据集上进行了全面的实验,以验证我们方法的SOTA性能、鲁棒性和作为预训练模型的卓越潜力。我们的代码发布在 https://github.com/MingyuShengSMY/AMNCutter。

关键词

引用

@article{arxiv.2411.03695,
  title  = {AMNCutter: Affinity-Attention-Guided Multi-View Normalized Cutter for Unsupervised Surgical Instrument Segmentation},
  author = {Mingyu Sheng and Jianan Fan and Dongnan Liu and Ron Kikinis and Weidong Cai},
  journal= {arXiv preprint arXiv:2411.03695},
  year   = {2024}
}

备注

Accepted by the 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025)