SAM-MIL：用于Whole Slide Image分类的基于空间上下文感知的多实例学习方法
计算机视觉与模式识别
2024-07-26 v1
摘要
多实例学习（MIL）是 Whole Slide Image（WSI）分类中占主导地位的框架，涵盖子类型、诊断等方面。当前的 MIL 模型主要依赖来自预训练模型（如 ResNet）的实例级特征。这些模型将每个 WSI 分割为独立的补丁，并从这些局部补丁中提取特征，导致显著的全局空间上下文丢失，限制了模型仅关注局部特征的能力。为解决此问题，我们提出一种新颖的 MIL 框架，命名为 SAM-MIL，强调空间上下文感知，显式地将空间上下文纳入其中，通过从原始 WSI 中提取综合性的图像级信息。Segment Anything Model（SAM）是一种开创性的视觉分割基础模型，能够在无需额外微调的情况下捕获分割特征，成为从原始 WSI 中直接提取空间上下文的杰出工具。我们的方法包括基于空间上下文设计的组特征提取，以及 SAM 引导的组遮挡策略以缓解类别不平衡问题。我们为不同分割类别实现动态掩码比例，并以这些类别的代表性组特征为补充。此外，SAM-MIL 将实例划分为额外的伪包，从而增强训练集，并引入伪包之间空间上下文的一致性，以进一步提升模型性能。在 CAMELYON-16 和 TCGA Lung Cancer 数据集上的实验结果表明，我们提出的 SAM-MIL 模型在 WSI 分类任务中超越了现有的主流方法。我们的开源实现代码可在 https://github.com/FangHeng/SAM-MIL 上获得。
引用
@article{arxiv.2407.17689,
title = {SAM-MIL: A Spatial Contextual Aware Multiple Instance Learning Approach for Whole Slide Image Classification},
author = {Heng Fang and Sheng Huang and Wenhao Tang and Luwen Huangfu and Bo Liu},
journal= {arXiv preprint arXiv:2407.17689},
year = {2024}
}
备注
accepted by ACM Multimedia 2024