基于合作细粒度精炼的SAM适用于核团实例分割与分类
计算机视觉与模式识别
2026-03-31 v1
摘要
核团实例分割是癌症诊断和预后中计算病理学的关键任务。最近，Segment Anything Model(SAM)在各种分割任务中表现卓越，利用来自大规模自然图像预训练所获得的丰富先验和强大的全局上下文建模能力。然而，直接将SAM应用于医学影像领域面临显著局限：其对关键用于核团分割的局部结构特征感知不足，以及为下游任务进行完整微调需要巨大的计算成本。为了高效地将SAM的稳健先验知识 transferred to核团实例分割，同时补充其任务感知的局部感知，我们提出一种参数高效微调框架，称为Cooperative Fine-Grained Refinement of SAM，包含三个核心组件：1) 多尺度自适应局部感知适配器，通过动态生成的多尺度卷积核增强冻结的SAM主干网络，赋予强大的局部结构感知能力；2) 层次化调制融合模块，动态聚合多层编码器特征，保留细粒度空间细节；3) 边界导向掩码精炼，将多上下文边界线索与语义特征通过显式监督集成，产生面向边界的信号，用于精炼初始掩码预测，实现更锐利的边界描绘。这三个组件协同工作，增强局部感知，保留空间细节，精炼边界，使SAM能够直接进行准确的核团实例分割。
引用
@article{arxiv.2603.28027,
title = {Adapting SAM to Nuclei Instance Segmentation and Classification via Cooperative Fine-Grained Refinement},
author = {Jingze Su and Tianle Zhu and Jiaxin Cai and Zhiyi Wang and Qi Li and Xiao Zhang and Tong Tong and Shu Wang and Wenxi Liu},
journal= {arXiv preprint arXiv:2603.28027},
year = {2026}
}
备注
18 pages, 10 figures, 12 tables