将分割基础模型适用于医学图像分类
计算机视觉与模式识别
2025-05-12 v1
摘要
近期的基础模型进展，如分割任何模型（SAM），在各种视觉任务中展现出强大的性能，尤其在图像分割中因其惊人的零样分割能力而受到关注。然而，有效地将此类模型用于医学图像分类仍是较少探索的主题。本文引入一种新框架，将SAM用于医学图像分类。首先，我们利用SAM的图像编码器作为特征提取器，捕获传递重要空间和上下文细节的分割特征，同时冻结其权重以避免训练时的额外开销。接着，我们提出一种新颖的空间局部通道注意力（SLCA）机制，用于计算特征图的空间局部注意力权重。经过SLCA处理的SAM图像编码器提取的特征，其注意力权重被集成到深度学习分类模型中，以增强其对图像中与空间相关或有意义区域的关注，从而提高分类性能。在三个公开医学图像分类数据集上的实验结果表明，我们方法的有效性和数据效率。
引用
@article{arxiv.2505.06217,
title = {Adapting a Segmentation Foundation Model for Medical Image Classification},
author = {Pengfei Gu and Haoteng Tang and Islam A. Ebeid and Jose A. Nunez and Fabian Vazquez and Diego Adame and Marcus Zhan and Huimin Li and Bin Fu and Danny Z. Chen},
journal= {arXiv preprint arXiv:2505.06217},
year = {2025}
}