基于选择引擎的多模态医学影像自适应交互式分割
计算机视觉与模式识别
2024-12-02 v1 人工智能
机器学习
摘要
在医学图像分析中，实现快速、高效且准确的分割对于自动化诊断和治疗至关重要。尽管近期深度学习的进步显著提高了分割精度，但当前模型在适应性和泛化性方面常面临挑战，尤其是在处理多模态医学影像数据时。这些限制源于不同成像模态之间的显著差异以及医学数据的内在复杂性。为此，我们提出一种基于SAM2的以策略为导向的交互式分割模型（SISeg），通过集成选择引擎来提升在各种医学成像模态上的分割性能。为缓解2D图像序列推理期间的内存瓶颈和优化提示帧选择，我们开发了自动系统——自适应帧选择引擎（AFSE）。该系统无需大量先验医学知识即可动态选择最佳提示帧，并通过交互式反馈机制增强模型推理过程的可解释性。我们在覆盖7种代表性医学成像模态的10个数据集上进行了大量实验，表明SISeg模型在多模态任务中具有稳健的适应性和泛化能力。项目页面和代码将在[URL]提供。
引用
@article{arxiv.2411.19447,
title = {Adaptive Interactive Segmentation for Multimodal Medical Imaging via Selection Engine},
author = {Zhi Li and Kai Zhao and Yaqi Wang and Shuai Wang},
journal= {arXiv preprint arXiv:2411.19447},
year = {2024}
}