文本知道什么，表格知道何时：通过检索增强的多模态对齐进行临床时间线重建
计算与语言
2026-05-15 v1 人工智能
机器学习
机器学习
摘要
重建精确的临床时间线对于建模患者轨迹和预测复杂、异构性条件如败血症中的风险至关重要。尽管非结构化临床叙述提供了语义丰富且上下文完整的患者过程描述，但它们常常缺乏时间精度并包含模糊的事件时间。相比之下，结构化电子健康记录(EHR)数据提供了精确的时间锚点，但遗漏了相当大比例的临床有意义事件。我们引入一种检索增强的多模态对齐框架，以弥合这一差距，提高从文本中提取的绝对临床时间线的时间精度。我们的做法将时间线重建形式化为图基的多步骤过程：它首先从叙述中提取中心锚点事件以构建初始时间框架，将非中心事件相对于该主干进行定位，然后通过检索到的结构化 EHR 行作为外部时间证据进行校准。在 i2m4 基准测试上使用指令调校的大型语言模型进行评估，涵盖 MIMIC-III 和 MIMIC-IV，我们的多模态管道在不损失事件匹配率的同时，持续改进了绝对时间戳准确性(AULTC)，并在几乎所有评估的模型上提高了时间一致性。此外，我们的经验性差距分析表明，文本派生的 34.8% 的事件在表格记录中完全不存在，表明对齐这些模态可以产生比单一来源更具时间忠实性和临床信息性的患者轨迹重建。
引用
@article{arxiv.2605.15168,
title = {Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment},
author = {Sayantan Kumar and Shahriar Noroozizadeh and Juyong Kim and Jeremy C. Weiss},
journal= {arXiv preprint arXiv:2605.15168},
year = {2026}
}
备注
Sayantan Kumar, Shahriar Noroozizadeh, Juyong Kim (authors contributed equally)