基于视觉基础模型与零样本掩码生成的病理基元分割
计算机视觉与模式识别
2024-10-10 v1
摘要
由于独特的图像特征和领域特定挑战，医学图像处理通常需要使用精心制作的数据集训练的模型，在病理学中尤为如此。数字化组织样本中的基元检测与分割对于癌症的客观自动化诊断和预后至关重要。SAM (Segment Anything Model) 最近被开发用于以高精度从自然图像中分割通用目标，但它需要人类提示来生成掩码。在本工作中，我们提出了一种新方法，将 SAM 预训练的自然图像编码器适配用于基于检测的区域提议。由预训练编码器提议的区域被送入级联特征传播层进行投影。然后，从多尺度聚合局部语义和全局上下文，用于边界框定位与分类。最后，SAM 解码器使用识别出的边界框作为必要提示，生成全面的基元分割图。整个基础框架 SAM 无需额外训练或微调，即可为病理学中的两项基本分割任务产生端到端结果。在 PanNuke 数据集上，我们的方法在用于细胞核检测的 F1 分数、用于分割质量的二值/多类全景质量及掩码质量上与最先进模型进行了比较，同时提供了端到端的效率。与 Faster RCNN 相比，我们的模型在次要数据集 上也取得了显著的平均精度提升 (+4.5%)。代码公开于 https://github.com/learner-codec/autoprom_sam。
引用
@article{arxiv.2404.08584,
title = {Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation},
author = {Abu Bakor Hayat Arnob and Xiangxue Wang and Yiping Jiao and Xiao Gan and Wenlong Ming and Jun Xu},
journal= {arXiv preprint arXiv:2404.08584},
year = {2024}
}
备注
2024 IEEE International Symposium on Biomedical Imaging