理解大语言模型在时间序列分析中的无效性：模态对齐的影响
机器学习
2025-05-27 v2
摘要
大语言模型（LLM）在时间序列分析中展现出惊人的性能，似乎比传统基于变换器的方法更好地理解时间序列关系。然而，由于 LLM 不是为时间序列任务设计的，更简单的数据模型如线性回归通常能以更少的复杂度实现相当的性能。在本研究中，我们进行了大量实验来评估将 LLM 应用于关键时间序列任务（包括预测、分类、插值和异常检测）的有效性。我们将 LLM 的性能与更简单的数据模型（如单层线性模型和随机初始化的 LLM）进行比较。我们的结果表明，LLM 对这些核心时间序列任务几乎没有优势，甚至可能扭曲数据的时间序列结构。相比之下，更简单的数据模型在需要的参数更少的情况下一致性地超越 LLM。此外，我们分析了现有的重新编程技术，通过数据流形分析显示，这些方法未能有效地将时间序列数据与语言对齐，在嵌入空间中显示“伪对齐”行为。我们的发现表明，LLM 在时间序列任务中的性能源于时间序列数据的内在特征和结构，而非任何对语言模型架构的真实对齐。
引用
@article{arxiv.2410.12326,
title = {Understanding Why Large Language Models Can Be Ineffective in Time Series Analysis: The Impact of Modality Alignment},
author = {Liangwei Nathan Zheng and Chang George Dong and Wei Emma Zhang and Lin Yue and Miao Xu and Olaf Maennel and Weitong Chen},
journal= {arXiv preprint arXiv:2410.12326},
year = {2025}
}