利用 SAM 进行输入增强：以分割基础模型提升医学图像分割
计算机视觉与模式识别
2023-06-22 v2 人工智能
机器学习
摘要
Segment Anything Model（SAM）是近期开发的用于计算机视觉任务通用分割的大模型。SAM 使用 1100 万张图像及超过 10 亿个掩码进行训练，可对自然场景图像中广泛对象产生分割结果。SAM 可视为用于分割（将图像划分为语义有意义区域）的通用感知模型。因此，如何利用此类大型基础模型进行医学图像分割是一个新兴研究目标。本文表明，尽管 SAM 不能立即给出医学图像数据的高质量分割，其生成的掩码、特征与稳定性分数对于构建和训练更优的医学图像分割模型是有用的。具体而言，我们展示了如何使用 SAM 对常用医学图像分割模型（如 U-Net）增强图像输入。在三项分割任务上的实验表明了我们所提 SAMAug 方法的有效性。代码见 \url{https://github.com/yizhezhang2000/SAMAug}。
引用
@article{arxiv.2304.11332,
title = {Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model},
author = {Yizhe Zhang and Tao Zhou and Shuo Wang and Peixian Liang and Danny Z. Chen},
journal= {arXiv preprint arXiv:2304.11332},
year = {2023}
}
备注
GitHub: https://github.com/yizhezhang2000/SAMAug. Comments and questions are welcome