即时改进Segment Anything:用于医学图像分割的辅助在线学习和自适应融合
计算机视觉与模式识别
2024-06-04 v1 机器学习
图像与视频处理
摘要
当前Segment Anything Model(SAM)的变体,包括原始SAM和Medical SAM,仍然缺乏为医学图像生成足够精确分割的能力。在医学成像背景下,人类专家在SAM生成其分割预测后纠正特定测试样本的分割并不罕见。这些纠正通常涉及使用最先进的标注工具进行手动或半手动修正。受此过程启发,我们引入了一种新颖的方法,利用在线机器学习的优势在测试时增强Segment Anything(SA)。我们使用修正后的标注进行在线学习,旨在提高SA在医学图像上的分割质量。为了提高与SAM等大规模视觉模型集成时在线学习的有效性和效率,我们提出了一种称为辅助在线学习(AuxOL)的新方法。AuxOL创建并应用一个小型辅助模型(专家)与SAM(通才)结合,包括自适应在线批处理和自适应分割融合。在涵盖四种医学成像模态的八个数据集上进行的实验验证了所提出方法的有效性。我们的工作提出并验证了一种新的、实用的、有效的方法,用于增强SA在下游分割任务(如医学图像分割)上的性能。
引用
@article{arxiv.2406.00956,
title = {Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation},
author = {Tianyu Huang and Tao Zhou and Weidi Xie and Shuo Wang and Qi Dou and Yizhe Zhang},
journal= {arXiv preprint arXiv:2406.00956},
year = {2024}
}
备注
Project Link: https://sam-auxol.github.io/AuxOL/