面向数据高效与通用的医学图像分割的概率视觉语言适配
加速器物理
2026-02-25 v1
摘要
医学图像分割因训练标注有限、解剖特征模糊以及域迁移问题而具有挑战性。虽然视觉语言模型如 CLIP 具备强大的跨模态表征，但其在稠密、文本导向的医学图像分割潜力尚未得到充分探索。我们提出 MedCLIPSeg，一种新型框架，通过概率跨模态注意力机制适配 CLIP，以实现稳健、数据高效且具备不确定性感知的医学图像分割。该方法通过 patch 级别的 CLIP 嵌入，实现图像和文本标记之间的双向交互，并显式建模预测不确定性。结合软 patch 级别对比损失，促进跨多样化文本提示的细粒度语义学习，MedCLIPSeg 在数据效率和域泛化能力方面取得显著提升。广泛的实验覆盖 16 个数据集，涵盖 5 种影像模态和 6 种器官，结果表明 MedCLIPSeg 在准确率、效率和鲁棒性方面均优于先前方法，同时提供可解释的不确定性图，标示分割结果的局部可靠性。本工作阐明了概率视觉语言建模在文本驱动医学图像分割中的潜力。
引用
@article{arxiv.2602.20428,
title = {Conceptual Design of Highly-Constrained Splitters for the FFA@CEBAF Energy Upgrade Study},
author = {Ryan Bodenstein and Jay Benesch and Alexander Coxe and Kirsten Deitrick and Brian Freeman and Randika Gamage and Reza Kazimi and Donish Khan and Katheryne Price and Ben Schaumloffel},
journal= {arXiv preprint arXiv:2602.20428},
year = {2026}
}
备注
To be submitted to Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment. 59 Pages (including 3 appendices) 14 figures