TempoGPT：通过量化嵌入提升时间序列推理
机器学习
2025-03-10 v2 人工智能
摘要
多模态语言模型在视觉和音频领域取得了显著进展，但在处理时间序列领域的复杂推理任务方面仍面临重大挑战。其原因有两个：其一，多模态时间序列数据的标签粗糙，缺乏分析或推理过程。使用这些数据进行训练无法提高模型的推理能力。其二，由于缺乏对时间序列的精确分词，时间和文本信息的表示模式不一致，这阻碍了多模态对齐的效果。为此，我们提出一种用于构建复杂推理任务的多模态时间序列数据的方法和一种多模态时间序列语言模型（TLM），TempoGPT。特别地，我们通过分析白盒系统内的变量-系统关系，构建用于复杂推理任务的多模态数据。此外，提出的TempoGPT通过量化时间嵌入实现时间和文本信息的一致表示，其中时间嵌入通过预定义的词典表编码为一系列离散标记；随后，共享嵌入层处理时间和文本标记。广泛的实验表明，TempoGPT准确感知时间信息，逻辑推理得出结论，并在构建的复杂时间序列推理任务中实现最先进（SOTA）水平。此外，我们量化证明了时间嵌入在增强多模态对齐和TLM推理能力方面的有效性。代码和数据已公开于 https://github.com/zhanghaochuan20/TempoGPT。
引用
@article{arxiv.2501.07335,
title = {TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding},
author = {Haochuan Zhang and Chunhua Yang and Jie Han and Liyang Qin and Xiaoli Wang},
journal= {arXiv preprint arXiv:2501.07335},
year = {2025}
}