Chat-TS：增强时间序列与自然语言数据的多模态推理
人工智能
2026-01-23 v2 计算与语言
摘要
大语言模型正被迅速部署到医疗、金融、交通和能源等许多领域，在这些领域中，时间序列数据是基本组成部分。当前的工作在执行涉及时间序列和相应文本内容的推理方面仍然能力有限。我们通过引入 Chat-TS 来填补这一空白，这是一个基于大语言模型（LLM）的框架，旨在支持对时间序列和文本数据进行推理。与传统模型不同，Chat-TS 将时间序列 token 集成到 LLM 的词表中，在不损害核心自然语言能力的情况下增强了其在两种模态上的推理能力。为了支持学习和评估，我们贡献了新的数据集：TS Instruct 训练数据集（将多样化时间序列数据与相关文本指令和响应配对，用于指令微调）、TS Instruct 问答（QA）黄金数据集（用于评估多模态推理的选择题）以及 TS Instruct 定量探测集（TS Instruct QA 推理任务的一个小子集，连同数学和决策问题用于 LLM 评估）。我们设计了一种训练策略，在保留 LLM 固有推理能力的同时对其进行增强以实现时间序列推理。实验表明，Chat-TS 在多模态推理任务中实现了 SOTA 性能，在保持强大自然语言能力的同时提高了时间序列推理能力。
引用
@article{arxiv.2503.10883,
title = {Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data},
author = {Paul Quinlan and Qingguo Li and Xiaodan Zhu},
journal= {arXiv preprint arXiv:2503.10883},
year = {2026}
}