MedConcept：面向医学视觉语言模型可解释性的无监督概念发现
计算机视觉与模式识别
2026-04-15 v1
摘要
虽然医学视觉语言模型（VLMs）在肿瘤或器官分割和诊断预测等任务上取得了强大的性能，但其不透明的潜在表征限制了临床信任和解释预测的能力。因此，医学多模态表征的可解释性对于可靠的临床部署 pretrained 医学 VLMs 至关重要。然而，当前的可解释性方法，如梯度或注意力基于的可视化，通常仅限于特定任务如分类。而且，它们不提供从共享 pretrained 表征中派生出的、可跨下游任务重用的概念级别解释。我们引入 MedConcept，一个在完全无监督 manner 下揭示潜在医学概念并将其 grounding 在临床可验证文本语义中的框架。MedConcept 从 pretrained VLM 表征中识别稀疏神经元级概念激活，并将其翻译为类报告风格的摘要，使医生能够检查模型内部推理过程。为解决概念可解释性缺乏定量评估的问题，我们引入一种量化语义验证协议，利用独立的 pretrained 医学 LLM 作为冻结外部评估器来评估概念与放射科报告的对齐程度。我们定义三个概念得分：Aligned、Unaligned 和 Uncertain，用于量化语义支持、矛盾或模糊性相对于放射科报告的情况，这些得分仅用于事后评估。这些得分为评估医学 VLMs 的可解释性提供了定量基准。所有代码、提示词和数据将在接受后公开。
引用
@article{arxiv.2604.11868,
title = {MedConcept: Unsupervised Concept Discovery for Interpretability in Medical VLMs},
author = {Md Rakibul Haque and KM Arefeen Sultan and Tushar Kataria and Shireen Elhabian},
journal= {arXiv preprint arXiv:2604.11868},
year = {2026}
}