面向组织病理全切片图像的多分辨率 Segment Anything Model (SAM) —— WSI-SAM
计算机视觉与模式识别
2024-03-19 v2
摘要
Segment Anything Model (SAM) 标志着分割模型的重大进步，具有稳健的零射线能力和动态提示功能。然而，现有的医学 SAM 不适用于全切片图像 (WSI) 的多尺度特性，限制了其有效性。为解决这一问题，本文提出 WSI-SAM，通过多分辨率切片块增强 SAM 在组织病理图像上的精确目标分割能力，同时保持其高效、基于提示的设计和零射线能力。为充分利用预训练知识同时最小化训练开销，我们保持 SAM 冻结，只引入最小的额外参数和计算开销。具体而言，本文引入高分辨率 (HR) 标记、低分辨率 (LR) 标记以及双掩码解码器。该解码器将原始 SAM 掩码解码器与轻量级融合模块集成，后者在多个尺度上整合特征。与独立预测掩码不同，我们在中间层集成 HR 和 LR 标记，以在多个分辨率上联合学习相同对象的特征。实验表明，WSI-SAM 在各种任务上均优于最先进的 SAM 及其变体。特别是，在乳腺癌局灶 (DCIS) 分割任务和乳腺癌转移瘤分割任务 (CAMELYON16 数据集) 上，本模型分别比 SAM 高出 4.1 和 2.5 个百分点。代码将在 https://github.com/HongLiuuuuu/WSI-SAM 上提供。
引用
@article{arxiv.2403.09257,
title = {WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images},
author = {Hong Liu and Haosen Yang and Paul J. van Diest and Josien P. W. Pluim and Mitko Veta},
journal= {arXiv preprint arXiv:2403.09257},
year = {2024}
}
备注
12 pages, 6 figures