基于 SAM 中梯度低秩投影的少样本高效医学图像分割模型 MedSAGa
计算机视觉与模式识别
2024-07-23 v1 人工智能
摘要
大规模模型在医学图像分割中需要专家精心标注的大量数据以及高计算资源，这些都是资源受限环境中的挑战。本文提出了结合 GaLore 的医用 Segment Anything Model(MedSAGa)，通过将梯度低秩投影 GaLore 应用于 SAM 图像编码器的参数，实现内存高效、少样本医学图像分割。同时，提示编码器和掩码解码器的权重采用标准优化器进行完整参数微调。我们进一步评估了 MedSAGa 的少样本学习能力，报告了其内存效率和跨多个标准医学图像分割数据集的分割性能。我们与Several baseline 模型进行比较，包括采用 LoRA 微调的 SAM(SAMed)和DAE-Former。跨多个数据集和这些基线模型使用不同数量的图像进行微调的实验表明，MedSAGa 的 GPU 内存消耗显著低于基线模型，在医学图像分割当前最先进(SOTA)模型中实现平均内存效率提升 66%。大幅降低的内存要求以及相当于 SOTA 结果的少样本学习能力使 MedSAGa 成为资源受限环境中部署的最优解。
引用
@article{arxiv.2407.15042,
title = {MedSAGa: Few-shot Memory Efficient Medical Image Segmentation using Gradient Low-Rank Projection in SAM},
author = {Navyansh Mahla and Annie D'souza and Shubh Gupta and Bhavik Kanekar and Kshitij Sharad Jadhav},
journal= {arXiv preprint arXiv:2407.15042},
year = {2024}
}