MedPrompt：基于权重路由的 LLM-CNN 混合医学图像分割与分类
计算机视觉与模式识别
2026-01-13 v1 信号处理
摘要
当前医学图像分析系统通常针对特定任务设计，需为分类与分割分别构建模型，缺乏支持用户自定义工作流程的灵活性。为此，我们提出 MedPrompt，一个统一框架，将少量样本提示的大型语言模型 (Llama-4-17B) 用于高层次任务规划，与模块化卷积神经网络 (DeepFusionLab) 用于低层次图像处理相结合。LLM 解释用户指令并生成结构化输出，动态路由任务特定的预训练权重。该权重路由方法无需重新训练整个框架即可添加新任务——仅需任务特定权重，提升了可扩展性与部署效率。我们在 19 个公开数据集上评估了 MedPrompt，覆盖 12 项任务及 5 种成像模态。系统在解释执行提示驱动指令方面达到 97% 的端到端正确率，平均推理延迟为 2.5 秒，适用于近实时应用。DeepFusionLab 在肺部分割达到 Dice 0.9856 的竞争分割精度，结核病分类达到 F1 0.9744 的优异分类性能。总体而言，MedPrompt 通过将 LLM 的可解释性与模块化 CNN 的高效性相结合，实现了面向医学影像的可扩展、提示驱动设计。
引用
@article{arxiv.2506.21199,
title = {MedPrompt: LLM-CNN Fusion with Weight Routing for Medical Image Segmentation and Classification},
author = {Shadman Sobhan and Kazi Abrar Mahmud and Abduz Zami},
journal= {arXiv preprint arXiv:2506.21199},
year = {2026}
}
备注
40 pages, 8 Tables, 9 Figures