MultiverSeg：基于原语指导的医学影像数据集可扩展交互式分割
计算机视觉与模式识别
2025-09-03 v2 机器学习
图像与视频处理
摘要
医学研究人员和临床医生经常需要对一组相关图像执行新的分割任务。现有方法要么是交互式的，需要为每个图像付出大量人力，要么需要一组已标记的图像。我们引入了一个系统MultiverSeg，使实践者无需访问该任务或领域的任何现有标记数据，即可快速分割整个新数据集。除了要分割的图像外，模型还接受用户交互（如点击、边界框或草图）作为输入，并预测分割。随着用户分割更多图像，这些图像和分割结果会作为额外的输入提供给模型，从而提供上下文。随着标记图像集合的增长，分割每个新图像所需的交互次数将减少。我们演示了MultiverSeg能够高效地交互式分割新数据集，通过实现每个图像的交互次数 amortized 降低以获得准确分割。与使用最先进的交互式分割方法相比，MultiverSeg在来自未知任务的图像集合上实现90% Dice分数时，总点击次数减少36%，草图步骤减少25%。我们在https://multiverseg.csail.mit.edu发布了代码和模型权重。
关键词
引用
@article{arxiv.2412.15058,
title = {MultiverSeg: Scalable Interactive Segmentation of Biomedical Imaging Datasets with In-Context Guidance},
author = {Hallee E. Wong and Jose Javier Gonzalez Ortiz and John Guttag and Adrian V. Dalca},
journal= {arXiv preprint arXiv:2412.15058},
year = {2025}
}
备注
Accepted by ICCV 2025. Project Website: https://multiverseg.csail.mit.edu Keywords: interactive segmentation, in-context learning, medical image analysis, biomedical imaging, image annotation, visual prompting