超声 SAM 适配器：将 SAM 适配于超声图像中的乳腺病灶分割
图像与视频处理
2024-04-24 v1 计算机视觉与模式识别
摘要
Segment Anything Model (SAM) 最近在自然图像分割领域取得了惊人的成果。然而，由于自然图像与医学图像之间存在巨大的领域差异，它在医学图像分割中并不有效。在本文中，我们主要关注超声图像分割。众所周知，由于缺乏大规模的标注超声图像数据，为超声图像数据训练基础模型非常困难。为了解决这些问题，本文开发了一种新颖的乳腺超声 SAM 适配器，称为乳腺超声 Segment Anything Model (BUSSAM)，它利用适配器技术将 SAM 迁移到乳腺超声图像分割领域。具体而言，我们首先设计了一个新颖的 CNN 图像编码器，该编码器在 BUS 数据集上进行了充分训练。我们的 CNN 图像编码器更轻量，并且更关注局部感受野的特征，为 SAM 中的 ViT 分支提供了互补信息。然后，我们设计了一个新颖的跨分支适配器，使 CNN 图像编码器能够在 SAM 模块中与 ViT 图像编码器充分交互。最后，我们将位置适配器和特征适配器同时添加到 ViT 分支中，以微调原始 SAM。在 AMUBUS 和 BUSI 数据集上的实验结果表明，我们提出的模型显著优于其他医学图像分割模型。我们的代码将在以下地址提供：https://github.com/bscs12/BUSSAM。
引用
@article{arxiv.2404.14837,
title = {Ultrasound SAM Adapter: Adapting SAM for Breast Lesion Segmentation in Ultrasound Images},
author = {Zhengzheng Tu and Le Gu and Xixi Wang and Bo Jiang},
journal= {arXiv preprint arXiv:2404.14837},
year = {2024}
}