Segment Anything Model引导的协作学习网络用于涂鸦监督的息肉分割
计算机视觉与模式识别
2023-12-04 v1
摘要
息肉分割在早期准确定位息肉方面发挥着至关重要的作用，对结直肠癌的预防具有重要的临床意义。各种息肉分割方法已使用全监督深度学习技术开发。然而，医生在诊断过程中对息肉图像进行像素级标注既耗时又昂贵。此外，诸如Segment Anything Model (SAM)之类的视觉基础模型已展现出卓越性能。尽管如此，由于固有医学知识的缺失，直接将SAM应用于医学分割可能无法产生令人满意的结果。在本文中，我们提出了一种新颖的SAM引导的协作学习网络(SAM-CLNet)用于涂鸦监督的息肉分割，使我们的分割网络与SAM之间的协作学习过程得以提升模型性能。具体而言，我们首先提出一种跨层级增强与聚合网络(CEA-Net)用于弱监督息肉分割。在CEA-Net中，我们提出跨层级增强模块(CEM)，其整合相邻特征以增强不同分辨率特征的表示能力。此外，采用特征聚合模块(FAM)以捕获跨多个层级的更丰富特征。而且，我们提出了一种框增强策略，将CEA-Net生成的分割图与涂鸦标注结合以创建更精确的提示。这些提示随后被送入SAM，生成分割的SAM引导掩码，可为有效训练CEA-Net提供额外监督。此外，我们提出一种图像级过滤机制以滤除不可靠的SAM引导掩码。大量实验结果表明，我们的SAM-CLNet优于state-of-the-art的弱监督分割方法。
引用
@article{arxiv.2312.00312,
title = {Segment Anything Model-guided Collaborative Learning Network for Scribble-supervised Polyp Segmentation},
author = {Yiming Zhao and Tao Zhou and Yunqi Gu and Yi Zhou and Yizhe Zhang and Ye Wu and Huazhu Fu},
journal= {arXiv preprint arXiv:2312.00312},
year = {2023}
}
备注
10 pages, 7 figures