Path-SAM2：将SAM2迁移至数字病理学语义分割

Mingya Zhang; Liang Wang; Zhihao Chen; Yiyuan Ge; Xianping Tao

Path-SAM2：将SAM2迁移至数字病理学语义分割

图像与视频处理 2024-09-05 v2 计算机视觉与模式识别

作者: Mingya Zhang , Liang Wang , Zhihao Chen , Yiyuan Ge , Xianping Tao

摘要

病理学中的语义分割任务在协助医生确定组织病变状况方面发挥着不可或缺的作用。随着Segment Anything Model（SAM）的提出，越来越多的基础模型在图像分割领域快速发展。最近，SAM2在自然图像和医学图像分割中获得了广泛关注。与SAM相比，它在分割准确性和泛化性能方面有了显著提升。我们基于SAM的基础模型进行了比较，发现它们在病理图像语义分割中的表现难以令人满意。在本文中，我们提出了Path-SAM2，首次将SAM2模型适配于病理语义分割任务。我们将最大的预训练组织病理学视觉编码器（UNI）与原始SAM2编码器集成，增加了更多病理学先验知识。此外，我们引入了一个可学习的Kolmogorov-Arnold网络（KAN）分类模块，以替代手动提示过程。在三个腺瘤病理数据集上，Path-SAM2取得了最先进性能。本研究展示了将SAM2适配至病理图像分割任务的巨大潜力。我们计划发布本文的代码和模型权重，地址为：https://github.com/simzhangbest/SAM2PATH

关键词

数字病理学语义分割 SAM2 UNI视觉编码器 Kolmogorov-Arnold网络迁移学习组织病理学

引用

@article{arxiv.2408.03651,
  title  = {Path-SAM2: Transfer SAM2 for digital pathology semantic segmentation},
  author = {Mingya Zhang and Liang Wang and Zhihao Chen and Yiyuan Ge and Xianping Tao},
  journal= {arXiv preprint arXiv:2408.03651},
  year   = {2024}
}

备注

5 pages , 5 figures

Path-SAM2：将SAM2迁移至数字病理学语义分割

摘要

关键词

引用

备注

相关论文