CEmb-SAM：带条件嵌入的 Segment Anything Model 用于异构数据集联合学习
图像与视频处理
2023-08-15 v1 计算机视觉与模式识别
机器学习
摘要
超声图像的自动分割可辅助医学专家进行诊断与治疗操作。尽管使用超声这一通用模态，通常仍需独立的数据集来分割例如不同解剖结构或不同恶性程度病变。本文考虑从异构数据集联合学习的问题，使模型通过利用数据集间固有差异性提升泛化能力。我们将异构数据集合并为一个数据集，并将各组成数据集称为子组。我们提出训练单一分割模型，使模型能适应每个子组。为实现鲁棒分割，我们利用近期提出的 Segment Anything model（SAM）将子组信息融入模型。我们提出带条件嵌入块的 SAM（CEmb-SAM），其编码子组条件并与 SAM 的图像嵌入相结合。该条件嵌入块通过可学习归一化参数引入数据集属性，有效使 SAM 适配各图像子组。实验表明，在外周神经与乳腺癌超声图像分割上，CEmb-SAM 优于基线方法。实验凸显了 Cemb-SAM 在医学图像分割任务中从异构数据集学习的有效性。
引用
@article{arxiv.2308.06957,
title = {CEmb-SAM: Segment Anything Model with Condition Embedding for Joint Learning from Heterogeneous Datasets},
author = {Dongik Shin and Beomsuk Kim and Seungjun Baek},
journal= {arXiv preprint arXiv:2308.06957},
year = {2023}
}