基于多模态知识图谱和可靠性引导的病例感知医学图像分类
计算机视觉与模式识别
2026-05-28 v2 人工智能
摘要
深度学习已为医学图像分类带来了显著进步，但大多数现有方法仍依赖孤立的视觉证据，无法有效利用相似病例或外部知识。在临床实践中，诊断通常由类似的历史病例及其相关症状所支持。为显式建模这一以证据为导向的诊断过程，我们提出了一个由多模态知识图谱驱动的病例感知推理框架用于医学图像分类。具体而言，我们构建了一个病例感知的多模态知识图谱作为结构化诊断记忆，其中疾病、图像和症状被层次化组织。给定输入图像后，我们的方法会自适应地从记忆中检索相似病例并提取其对应的病例中心子图。我们进一步引入了知识传播和注入机制，其中以图像为中心的图注意力网络将异构语义聚合到病例特征中，随后通过双向跨模态注意力机制将这些特征注入视觉表示中进行跨模态对齐。为缓解噪声检索，我们设计了一种置信度校准的决策细化方案，该方案综合考虑预测置信度和样本相似性，估计每个检索病例的可靠性，并对其对最终预测的贡献进行加权，从而提供可解释的病例级别证据。广泛的实验表明，我们的方法在多个医学影像数据集上 consistently 优于强大的基线方法，而消融和定性分析又验证了其有效性和可解释性。代码可在 https://anonymous.4open.science/r/MKG-CARE-8B7B 获取。
引用
@article{arxiv.2605.22547,
title = {Case-Aware Medical Image Classification with Multimodal Knowledge Graphs and Reliability-Guided Refinement},
author = {Yiming Xu and Yixuan Liu and Yuhang Zhang and Ling Zheng and Yihan Wang and Qi Song},
journal= {arXiv preprint arXiv:2605.22547},
year = {2026}
}