ProMedTS：一种用于整合医学文本与时间序列的自监督提示引导多模态方法
计算与语言
2025-06-17 v2 人工智能
机器学习
摘要
大型语言模型（LLM）在视觉-语言任务中展现出了卓越的性能，但其在医学领域的应用仍有待深入探索，尤其是在整合结构化时间序列数据与非结构化临床笔记方面。在临床实践中，动态时间序列数据（如实验室检测结果）捕捉了关键的时间模式，而临床笔记则提供了丰富的语义上下文。由于连续信号与离散文本之间的固有差异，融合这些模态极具挑战性。为弥合这一鸿沟，我们引入了 ProMedTS，这是一种新颖的自监督多模态框架，采用提示引导学习来统一这些异构数据类型。我们的方法利用轻量级异常检测生成异常描述作为提示，引导将原始时间序列数据编码为信息丰富的提示嵌入。这些提示嵌入在共享潜在空间中与文本表示进行对齐，在保留细粒度时间特征的同时兼顾语义洞察。此外，我们的框架结合了定制的自监督目标，以增强模态内与模态间的对齐。我们在疾病诊断任务上使用真实世界数据集对 ProMedTS 进行了评估，结果表明我们的方法持续优于 SOTA 方法。
引用
@article{arxiv.2502.13509,
title = {ProMedTS: A Self-Supervised, Prompt-Guided Multimodal Approach for Integrating Medical Text and Time Series},
author = {Shuai Niu and Jing Ma and Hongzhan Lin and Liang Bai and Zhihua Wang and Wei Bi and Yida Xu and Guo Li and Xian Yang},
journal= {arXiv preprint arXiv:2502.13509},
year = {2025}
}
备注
This paper is accepted by ACL2025(Findings)