Chronicle：用于联合语言和时间序列理解的多模态基础模型
机器学习
2026-05-21 v1 人工智能
计算与语言
摘要
现实世界的时间序列伴随文本信息：元数据、描述、新闻、报告。然而，时间序列基础模型仅在孤立地处理数值序列，而那些尝试搭建文本与时间序列桥梁的多模态模型皆事后地适配预训练语言模型，继承了在未见时间数据的情况下塑造的表示。这些模型几乎仅针对其他多模态基线进行评估，未对比两种领域中最强的单模态基础模型，这留下了联合训练是否必需的悬疑。我们提出 Chronicle，一个规模为 3.24 亿参数的解码器-only 变换器，从头在单一统一架构中对自然语言和时间序列进行联合预训练。两种模态共享相同的变换器块、注意力机制和残差流；大部分预训练使用单模态 batch，跨模态能力纯凹地从共享参数中涌现，随后通过短暂的对齐阶段交替两种模态。到目前为止，Chronicle 是第一个从头在文本和时间序列上进行联合预训练的模型，也是第一个在两种领域中针对专用基础模型进行评估的多模态模型。它在 19 项 NLU 任务上匹配 Gemma-3-270M-PT，在 24 项 UCR/UEA 数据集上的冻结嵌入时间序列分类中树立了新标杆，并在 Time-MMD 上产生多模态预测，超越所有监督式融合基线，全部基于单一 backbone。
引用
@article{arxiv.2605.20268,
title = {Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding},
author = {Paul Quinlan and Jeremy Levasseur and Qingguo Li and Xiaodan Zhu},
journal= {arXiv preprint arXiv:2605.20268},
year = {2026}
}