面向细粒度多类核 segmentation 的分子驱动全能 SAM 模型
计算机视觉与模式识别
2025-08-22 v1
摘要
目的：计算病理学的近期发展得益于视觉基础模型，特别是 Segment Anything Model（SAM）的进步。该模型通过两种主要方法实现核 segmentation：基于提示的零射 segmentation 和使用特定 SAM 模型进行直接 segmentation。这些方法有效地支持各种核和细胞的 segmentation。然而，通用视觉基础模型常面临细粒度语义 segmentation 挑战，例如识别特定核亚型或特定细胞。方法：本文提出分子驱动的全能 SAM 模型，以推进计算病理学，利用视觉基础模型的能力。该模型采用全栈方法，关注：（1）通过分子驱动学习吸引注释员，减少对详细像素级注释的需求；（2）学习适应的 SAM 模型以强调特定语义，该方法利用 SAM 的强大可迁移性和 SAM adapter；（3）通过集成分子导向纠错学习（Molecular-Oriented Corrective Learning, MOCL）来增强 segmentation 精度。结果：来自内部数据集和公共数据集的实验结果表明，All-in-SAM 模型在应对不同注释质量时显著提高了细胞分类性能。结论：我们的做法不仅减轻了注释员的工作负担，而且将精确的医学图像分析 accessibility 扩展到资源受限的环境，从而推进了医学诊断和自动化病理图像分析。
引用
@article{arxiv.2508.15751,
title = {Fine-grained Multi-class Nuclei Segmentation with Molecular-empowered All-in-SAM Model},
author = {Xueyuan Li and Can Cui and Ruining Deng and Yucheng Tang and Quan Liu and Tianyuan Yao and Shunxing Bao and Naweed Chowdhury and Haichun Yang and Yuankai Huo},
journal= {arXiv preprint arXiv:2508.15751},
year = {2025}
}
备注
25 pages, 3 figures, accepted by Journal of Medical Imaging