协同判别性示例与自我精炼经验用于基于MLLM的医学诊断上下文学习
计算机视觉与模式识别
2026-03-31 v1
摘要
通用多模态大语言模型（MLLM）在捕捉医学诊断中的领域特定细微差别方面往往表现不佳，落后于完全监督的基线模型。尽管微调可以弥补这一不足，但专家标注的高昂成本和巨大的计算开销限制了其可扩展性。为了在不更新MLLM预训练骨干网络权重的情况下弥合这一差距，我们提出了一种临床医生模拟工作流。这是一个新颖的上下文学习（ICL）框架，旨在协同判别性示例核心集选择（DECS）和自我精炼经验总结（SRES）。具体而言，DECS通过从噪声数据中计算层面选择判别性视觉核心集来模拟临床医生引用"锚定案例"的能力；同时，SRES通过将多样化的推理过程提炼为动态文本经验库来模拟临床诊断中的认知与反思。在MedMNIST 2D基准的所有12个数据集上的广泛评估表明，我们的方法优于零样本通用和医学MLLM。同时，它达到了与完全监督视觉模型和领域特定微调MLLM相当的性能水平，为参数高效的医学上下文学习设定了新基准。我们的代码可在匿名仓库中获取：https://anonymous.4open.science/r/Synergizing-Discriminative-Exemplars-and-Self-Refined-Experience-ED74.
引用
@article{arxiv.2603.27737,
title = {Synergizing Discriminative Exemplars and Self-Refined Experience for MLLM-based In-Context Learning in Medical Diagnosis},
author = {Wenkai Zhao and Zipei Wang and Mengjie Fang and Di Dong and Jie Tian and Lingwei Zhang},
journal= {arXiv preprint arXiv:2603.27737},
year = {2026}
}