LeMoF：面向异构临床数据的层级引导多模态融合
机器学习
2026-01-16 v1 人工智能
摘要
多模态临床预测被广泛用于整合电子健康记录（EHR）和生物信号等异构数据。然而，现有方法往往依赖静态的模态整合方案和简单的融合策略，因而未能充分利用模态特定的表征。本文提出层级引导模态融合（LeMoF），这是一种新颖的框架，能有选择地在每个模态内整合层级引导的表征。每个层级指从编码器不同层提取的表征。LeMoF明确地从层级特定的判别性表征中分离并学习全局的模态级预测。这种设计使LeMoF即使在异构的临床环境中，也能在预测稳定性和判别能力之间取得平衡的性能。利用重症监护室（ICU）数据进行住院时长预测的实验表明，LeMoF在各种编码器配置下均能持续优于现有的最先进多模态融合技术。我们还证实，层级式整合是在各种临床条件下实现稳健预测性能的关键因素。
引用
@article{arxiv.2601.10092,
title = {LeMoF: Level-guided Multimodal Fusion for Heterogeneous Clinical Data},
author = {Jongseok Kim and Seongae Kang and Jonghwan Shin and Yuhan Lee and Ohyun Jo},
journal= {arXiv preprint arXiv:2601.10092},
year = {2026}
}