CTPD：面向增强多模态电子健康记录分析的跨模态时序模式发现

整合多模态电子健康记录（EHR）数据，如数值时间序列和自由文本临床报告，在预测临床结局方面具有巨大潜力。然而，先前的研究主要关注捕捉单个样本内的时序交互以及融合多模态信息，忽略了患者之间的关键时序模式。这些模式，如异常心率或血压等生命体征的趋势，可以指示健康状况恶化或即将发生的关键事件。同样，临床笔记通常包含反映这些模式的文本描述。识别不同模态之间的对应时序模式对于提高临床结局预测的准确性至关重要，但仍然是一项具有挑战性的任务。为了填补这一空白，我们提出了一种跨模态时序模式发现（CTPD）框架，旨在从多模态EHR数据中高效提取有意义的跨模态时序模式。我们的方法引入共享的初始时序模式表示，并利用槽注意力机制进行细化以生成时序语义嵌入。为了确保学习到的模式具有丰富的跨模态时序语义，我们引入了基于对比学习的TPNCE损失以实现跨模态对齐，以及两种重建损失以保留每种模态的核心信息。在MIMIC-III数据库上对两个临床关键任务——48小时住院死亡率和24小时表型分类——的评估证明了我们的方法优于现有方法。