基于奇异值分解的细粒度调整——医学图像分割中的 Segment Anything 模型适配

医学图像分割传统上通过训练或微调整个模型以适应新的模态或数据集，但该方法在训练时常需调整大量参数。随着 Segment Anything 模型（SAM）用于自然图像的提示式分割而引入，许多研究致力于高效适配其用于医学成像，从而减少训练时间和资源。然而，这些方法在训练和推理过程中仍需要以点提示或边界框形式提供专业注释，使其实际应用变得繁琐。本文提出一种名为 S-SAM 的适应技术，仅训练占 SAM 参数 0.4% 的参数，同时仅使用标签名称作为提示即可生成精确的掩码。这不仅使对 SAM 的微调比现有适应方法更高效，还消除了提供专业提示的负担。我们称其修改后的版本为 S-SAM，并在包括内镜图像、X光、超声、CT和组织学图像在内的五种不同模态上进行评估。我们的实验表明，S-SAM 在调参数量显著少于现有方法的情况下，优于最先进的方法以及现有的 SAM 适应方法。我们在 https://github.com/JayParanjape/SVDSAM 上发布了 S-SAM 的代码。