通过少量样本微调 SAM 实现低成本的医学图像分割
计算机视觉与模式识别
2023-08-29 v1 人工智能
摘要
Segment Anything Model（SAM）已展现出规模化分割模型的卓越能力，可实现跨多种领域的零样本泛化。利用大规模基础模型作为预训练模型，微调 SAM 以适应特定领域以进一步提升性能是自然的发展趋势。然而，由于医院系统内难以且昂贵地标注充足适配数据，基础模型在医学领域的应用面临挑战。本文中，我们提出一种高效实用的少量样本微调 SAM 方法，使其适用于此类场景。我们的方法结合了文献中两种成熟技术：样本引导合成模块与广受认可的低秩适配（LoRA）微调策略，分别作为数据层面与模型层面的尝试。有趣的是，实证结果表明，即便标注数据很少，SAM 也能在医学领域内被有效对齐。我们在脑肿瘤分割（BraTS）与多器官 CT 分割（Synapse）上通过实验验证了该方法。综合结果凸显了此方法的可行性与有效性，为 SAM 在医学领域的实际应用铺平了道路。
引用
@article{arxiv.2308.14133,
title = {Cheap Lunch for Medical Image Segmentation by Fine-tuning SAM on Few Exemplars},
author = {Weijia Feng and Lingting Zhu and Lequan Yu},
journal= {arXiv preprint arXiv:2308.14133},
year = {2023}
}
备注
Accepted by Brain Lesion (BrainLes) workshop of International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI BrainLes 2023). 10 pages, 3 figures