OpenTSLM：用于多变量医学文本与时间序列数据推理的时间序列语言模型
摘要
大语言模型（LLMs）已成为解释多模态数据的强大工具。在医学领域，它们在将大量临床信息综合为可操作的洞察和数字健康应用方面具有特别前景。然而，一个主要限制仍然是它们无法处理时间序列。为弥补这一差距，我们提出了 OpenTSLM，一个时间序列语言模型（TSLM）系列，通过将时间序列作为原生模态集成到预训练的 LLMs 中，实现了对任意长度的多变量时间序列的推理。我们研究了 OpenTSLM 的两种架构。第一种，OpenTSLM-SoftPrompt，通过软提示将可学习的时间序列令牌与文本令牌拼接，以隐式方式建模时间序列。尽管参数高效，但我们假设显式时间序列建模具有更好的可扩展性并优于隐式方法。因此，我们引入了 OpenTSLM-Flamingo，它通过交叉注意力将时间序列与文本集成。我们将两种变体与将时间序列视为文本令牌或图表的基线进行基准测试，涵盖一系列文本-时间序列思维链推理任务。我们引入了三个数据集：HAR-CoT、Sleep-CoT 和 ECG-QA-CoT。在所有数据集上，OpenTSLM 模型均优于基线，在睡眠分期中达到 69.9 F1，在 HAR 中达到 65.4，而微调后的纯文本模型分别为 9.05 和 52.2。值得注意的是，即使 1B 参数的 OpenTSLM 模型也超越了 GPT-4o（15.47 和 2.95）。OpenTSLM-Flamingo 在性能上与 OpenTSLM-SoftPrompt 持平，在更长序列上表现更优，同时保持稳定的内存需求。相比之下，SoftPrompt 的内存随序列长度呈指数增长，在 ECG-QA 上使用 LLaMA-3B 训练时需要约 110 GB，而 VRAM 仅需 40 GB。临床专家的评审发现 OpenTSLM 在 ECG-QA 上展现出强大的推理能力。为促进进一步研究，我们提供了所有代码、数据集和模型的开源版本。
引用
@article{arxiv.2510.02410,
title = {OpenTSLM: Time-Series Language Models for Reasoning over Multivariate Medical Text- and Time-Series Data},
author = {Patrick Langer and Thomas Kaar and Max Rosenblattl and Maxwell A. Xu and Winnie Chow and Martin Maritsch and Robert Jakob and Ning Wang and Juncheng Liu and Aradhana Verma and Brian Han and Daniel Seung Kim and Henry Chubb and Scott Ceresnak and Aydin Zahedivash and Alexander Tarlochan Singh Sandhu and Fatima Rodriguez and Daniel McDuff and Elgar Fleisch and Oliver Aalami and Filipe Barata and Paul Schmiedmayer},
journal= {arXiv preprint arXiv:2510.02410},
year = {2026}
}