基于异构图与疾病相关性学习的临床多模态融合多疾病预测
多媒体
2025-09-22 v1
摘要
利用电子健康记录和医学影像等多模态数据进行多疾病诊断是一项关键的临床任务。尽管现有的深度学习方法在该领域已取得初步成功，但其在实际应用中仍存在显著差距。这种差距源于它们往往忽略了不可避免的现实挑战，如不同疾病各模态间的模态缺失、噪声、时间异步性以及证据不一致。为了克服这些局限性，我们提出了HGDC-Fuse，一种新颖的框架，通过构建以患者为中心的多模态异构图来稳健地整合异步且不完整的多模态数据。此外，我们设计了一个异构图学习模块来聚合多源信息，其特点是包含一个疾病相关性引导的注意力层，该层通过基于疾病相关性学习特定疾病的模态权重来解决模态不一致问题。在大规模MIMIC-IV和MIMIC-CXR数据集上，HGDC-Fuse显著优于state-of-the-art方法。
引用
@article{arxiv.2509.15852,
title = {Clinical Multi-modal Fusion with Heterogeneous Graph and Disease Correlation Learning for Multi-Disease Prediction},
author = {Yueheng Jiang and Peng Zhang},
journal= {arXiv preprint arXiv:2509.15852},
year = {2025}
}