面向增强医学图像分割的基础模型多提示微调
图像与视频处理
2023-10-05 v1 计算机视觉与模式识别
摘要
Segment Anything Model (SAM) 是一种强大的基础模型，在自然图像分割领域引入了革命性的进展。然而，在描绘生物医学图像中多个器官与组织交织于单幅图像内的复杂结构时，其性能仍不尽理想。在本研究中，我们引入了一种新颖的微调框架，该框架利用 SAM 对每幅图像捆绑并处理多个提示的能力，旨在提升 SAM 在医学图像上的性能。我们首先整理了一个医学图像数据集，包含各器官的病灶 CT 扫描，每例分别带有器官与病灶的两套标注。随后，在我们的框架内微调 SAM 的掩码解码器，方法是将基于真值掩码生成的边界框成批作为参考。我们所引入的成批提示策略不仅解决了医学图像中常见的固有复杂性与模糊性，而且在应用于广泛的分割任务时显著提升了性能指标。
引用
@article{arxiv.2310.02381,
title = {Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image Segmentation},
author = {Xiangru Li and Yifei Zhang and Liang Zhao},
journal= {arXiv preprint arXiv:2310.02381},
year = {2023}
}