面向可解释医学图像分类的人类知识与视觉概念对齐

尽管可解释性在临床诊断中至关重要，但大多数深度学习模型仍作为黑盒工作，未阐明其决策过程。本研究旨在开发可解释模型，通过融合显式诊断准则的领域知识来模拟人类专家的决策过程。我们引入一种简单而有效的框架Explicd，以实现基于语言的诊断准则的可解释诊断。Explicd通过查询来自大型语言模型(LLM)或人类专家的领域知识，在各种概念轴上(例如颜色、形状、纹理或疾病的特定图案)建立诊断准则。利用预训练的视觉-语言模型，Explicd将这些准则注入嵌入空间作为知识锚点，从而促进医学图像中相应视觉概念的学习。最终诊断结果基于编码的视觉概念与文本诊断准则嵌入之间的相似度得分确定。通过对五个医学图像分类基准的广泛评估，Explicd已显示其内在的可解释性，并显著优于传统黑盒模型。代码可在\url{https://github.com/yhygao/Explicd}获取。