K-Diag：放射影像中知识增强的疾病诊断
计算机视觉与模式识别
2023-02-28 v2
摘要
本文研究疾病诊断问题。不同于将标签独立对待的传统学习范式，我们提出一种知识增强框架，可在医学领域知识引导下训练视觉表示。具体而言，我们的贡献如下：第一，为显式融入专家知识，我们提出通过对比学习为医学知识图谱学习神经表示，隐式建立不同医学概念间的关系。第二，在训练视觉编码器时，我们冻结知识编码器参数，并提出学习一组提示向量以实现高效适配。第三，我们采用基于 Transformer 的疾病查询模块进行跨模态融合，借助交叉注意力自然实现可解释的诊断结果。为验证所提框架的有效性，我们在跨越不同解剖结构的三套 X 射线影像数据集上进行了充分实验，表明我们的模型能够利用疾病/征象间的隐式关系，从而有益于医学领域中常见的长尾与零样本识别问题，而传统方法在此类问题上或表现不佳或完全失效。
引用
@article{arxiv.2302.11557,
title = {K-Diag: Knowledge-enhanced Disease Diagnosis in Radiographic Imaging},
author = {Chaoyi Wu and Xiaoman Zhang and Yanfeng Wang and Ya Zhang and Weidi Xie},
journal= {arXiv preprint arXiv:2302.11557},
year = {2023}
}