DuPLUS：面向通用医学图像分割与预后的双提示视觉语言框架
计算机视觉与模式识别
2025-10-07 v1 人工智能
摘要
深度学习医学成像受限于缺乏通用性和预后能力的任务特定模型，而现有“通用”方法则面临简单化条件和较差医学语义理解的问题。为此，我们提出 DuPLUS，一个用于高效多模态医学图像分析的深度学习框架。DuPLUS 引入一种新颖的视觉语言框架，利用层次化语义提示实现对分析任务的细粒度控制，这一能力在以往通用模型中不存在。为实现对其他医学任务的可扩展性，框架包含一种由独特双提示机制驱动的层次化、文本控制架构。对于分割任务，DuPLUS 能跨越三种成像模态、十个不同解剖学的医学数据集，涵盖超过 30 种器官和肿瘤类型。在 10 个数据集中，DuPLUS 在 8 个数据集上超越了最新的任务特定和通用模型。我们通过将电子健康记录 (EHR) 数据无缝集成于文本控制架构中，实现了预后预测功能。在一个头颈癌数据集上，DuPLUS 实现了 0.69 的 Concordance Index (CI)。参数高效微调使其能够快速适应来自不同中心的新任务和新模态，确立了 DuPLUS 作为医学图像分析中通用且临床相关解决方案的地位。本文的代码已发布于：https://anonymous.4open.science/r/DuPLUS-6C52
引用
@article{arxiv.2510.03483,
title = {DuPLUS: Dual-Prompt Vision-Language Framework for Universal Medical Image Segmentation and Prognosis},
author = {Numan Saeed and Tausifa Jan Saleem and Fadillah Maani and Muhammad Ridzuan and Hu Wang and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2510.03483},
year = {2025}
}