基于时空解耦与多尺度对齐的多模态疾病进展建模
计算机视觉与模式识别
2025-10-14 v1
摘要
纵向多模态数据，包括电子健康记录（EHR）和顺序胸部X光（CXR），对于疾病进展建模至关重要，但因两个关键挑战而被低估：（1）连续CXR序列中的冗余，静态解剖区域占主导地位，忽略了临床上有意义的动态；（2）稀疏、规则成像数据与连续EHR数据之间的时间错位。我们提出了 ，一个新型框架，通过区域感知解耦和多尺度对齐来解决上述挑战。首先，我们在顺序CXR中解耦静态（解剖）和动态（病灶进展）特征，聚焦疾病相关变革。其次，我们通过局部（成对间隔级）和全局（全序列）同步，将这些静态和动态CXR特征与异步EHR数据进行分层对齐，以建模连贯的进展路径。大规模实验表明， 能有效提取时序临床动态，在疾病进展识别和常规ICU预测任务上实现最新性能。
引用
@article{arxiv.2510.11112,
title = {Multimodal Disease Progression Modeling via Spatiotemporal Disentanglement and Multiscale Alignment},
author = {Chen Liu and Wenfang Yao and Kejing Yin and William K. Cheung and Jing Qin},
journal= {arXiv preprint arXiv:2510.11112},
year = {2025}
}
备注
NeurIPS 2025 Spotlight