MedTsLLM：利用LLM进行多模态医学时间序列分析
机器学习
2024-08-16 v1
摘要
许多现实世界应用中的数据复杂性和异构性对传统的机器学习和信号处理技术构成了重大挑战。例如，在医学领域，有效分析多种生理信号对于患者监测和临床决策至关重要，但极具挑战性。我们提出了MedTsLLM，一个通用的多模态大语言模型（LLM）框架，能够有效整合时间序列数据和丰富的文本形式上下文信息来分析生理信号，执行三项具有临床相关性的任务：时间序列的语义分割、边界检测和异常检测。这些关键任务能够实现对生理信号的更深入分析，并为临床医生提供可操作的见解。我们利用重编程层将时间序列块的嵌入与预训练LLM的嵌入空间对齐，从而有效利用原始时间序列数据，并结合文本上下文。鉴于医学数据集的多变量特性，我们开发了处理多个协变量的方法。此外，我们定制文本提示以包含患者特定信息。我们的模型在多个医学领域——特别是心电图和呼吸波形——中优于最先进基线方法，包括深度学习模型、其他LLM和临床方法。MedTsLLM代表了利用LLM力量进行医学时间序列分析的有前景的一步，可提升临床医生的数据驱动工具并改善患者预后。
引用
@article{arxiv.2408.07773,
title = {MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis},
author = {Nimeesha Chan and Felix Parker and William Bennett and Tianyi Wu and Mung Yao Jia and James Fackler and Kimia Ghobadi},
journal= {arXiv preprint arXiv:2408.07773},
year = {2024}
}
备注
published in Proceedings of Machine Learning Research, MLHC 2024