分割任意细胞：一种基于 SAM 的自动提示微调框架用于细胞核分割
图像与视频处理
2024-01-25 v1 计算机视觉与模式识别
摘要
在快速发展的 AI 研究领域，诸如 BERT 和 GPT 等基础模型极大地推进了语言和视觉任务。诸如 ChatGPT 和 Segmentation Anything Model (SAM) 等预训练-提示模型的出现进一步彻底改变了图像分割。然而，它们在专业领域的应用，特别是在医学成像中的细胞核分割方面，揭示了一个关键挑战：生成高质量、信息丰富的提示与在基础模型上应用 state-of-the-art (SOTA) 微调技术同样重要。为了解决这个问题，我们引入了 Segment Any Cell (SAC)，这是一个专门为细胞核分割增强 SAM 的新颖框架。SAC 在 Transformer 的注意力层中集成了低秩适应，以改善微调过程，优于现有的 SOTA 方法。它还引入了一个新颖的自动提示生成器，可生成有效的提示来指导分割，这是处理生物医学成像中细胞核分割复杂性的关键因素。我们的大量实验证明了 SAC 在细胞核分割任务中的优越性，证明了它作为病理学家和研究人员工具的有效性。我们的贡献包括一种新颖的提示生成策略、对各种分割任务的自动适应性、低秩注意力适应在 SAM 中的创新应用，以及一个用于语义分割挑战的多功能框架。
引用
@article{arxiv.2401.13220,
title = {Segment Any Cell: A SAM-based Auto-prompting Fine-tuning Framework for Nuclei Segmentation},
author = {Saiyang Na and Yuzhi Guo and Feng Jiang and Hehuan Ma and Junzhou Huang},
journal= {arXiv preprint arXiv:2401.13220},
year = {2024}
}