MMLN：利用领域知识进行多模态诊断
机器学习
2022-02-10 v1 符号计算
摘要
近期研究表明，深度学习模型在医学影像任务（如诊断预测）上取得了良好性能。其中，多模态已成为一种新兴趋势，整合了胸片（CXR）图像和电子病历（EMRs）等不同形式的数据。然而，大多数现有方法以无模型的方式整合它们，缺乏理论支撑且忽略了不同数据源之间的内在关联。为解决该问题，我们提出了一种用于肺部疾病诊断的知识驱动与数据驱动框架。通过引入领域知识，机器学习模型可减少对标注数据的依赖并提升可解释性。我们根据权威临床医学指南制定诊断规则，并从文本数据中学习规则权重。最后，设计了一种由文本与图像数据构成的多模态融合以推断肺部疾病的边际概率。我们在某医院收集的真实世界数据集上进行了实验。结果表明，所提方法在准确率和可解释性方面均优于最先进的多模态基线。
引用
@article{arxiv.2202.04266,
title = {MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis},
author = {Haodi Zhang and Chenyu Xu and Peirou Liang and Ke Duan and Hao Ren and Weibin Cheng and Kaishun Wu},
journal= {arXiv preprint arXiv:2202.04266},
year = {2022}
}