DrFuse：学习解耦表示以实现存在缺失模态与模态不一致的临床多模态融合
图像与视频处理
2024-10-24 v1 计算机视觉与模式识别
机器学习
摘要
电子健康记录（EHR）与医学图像的结合对于临床医生进行诊断和预后预测至关重要。策略性地融合这两种数据模态在提升临床预测任务中机器学习模型的准确性方面具有巨大潜力。然而，EHR与医学图像的异步性与互补性带来了独特的挑战。在实际应用中，由临床和行政因素导致的模态缺失不可避免，且每种数据模态的重要性因患者和预测目标而异，导致预测不一致和模型性能次优。为应对这些挑战，我们提出DrFuse以实现有效的临床多模态融合。它通过解耦跨模态共享特征与各模态内独有特征来解决模态缺失问题。此外，我们通过一个疾病级注意力层解决模态不一致问题，该层为每个模态生成患者级和疾病级权重以进行最终预测。我们使用真实世界的大规模数据集MIMIC-IV和MIMIC-CXR验证了所提出的方法。实验结果表明，所提出的方法显著优于state-of-the-art模型。我们的实现已公开于https://github.com/dorothy-yao/drfuse。
引用
@article{arxiv.2403.06197,
title = {DrFuse: Learning Disentangled Representation for Clinical Multi-Modal Fusion with Missing Modality and Modal Inconsistency},
author = {Wenfang Yao and Kejing Yin and William K. Cheung and Jia Liu and Jing Qin},
journal= {arXiv preprint arXiv:2403.06197},
year = {2024}
}
备注
Accepted by AAAI-24