LLM-TS Integrator：将 LLM 集成以增强时间序列建模
机器学习
2024-10-23 v1
摘要
时间序列（TS）建模是动态系统中必不可少的任务，如天气预测和异常检测。近期研究利用大语言模型（LLM）进行 TS 建模，借助其强大的模式识别能力。这些方法主要将 LLM 定位为预测主干，往往忽略了诸如周期性等传统 TS 模型中包含的数学建模。然而，忽视 LLM 潜在能力也会放弃其模式识别能力。为此，我们提出一种新型框架——\textit{LLM-TS Integrator}，有效地将 LLM 的能力集成到传统 TS 建模中。该集成的核心是我们的\textit{互信息}模块。\textit{互信息}模块的核心是通过为传统模型增强来提高其预测能力的 TS 模型，增强方式是利用 LLM 派生的见解。通过最大化传统模型的 TS 表示与 LLM 文本表示 counterpart 之间的互信息，在两种模态之间建立桥梁。此外，我们认识到，对于两种损失（传统预测和互信息最大化），样本的重要性存在差异。为此，我们引入\textit{样本重权}模块以提高信息利用率。该模块为每个样本分配两个权重：一个用于预测损失，另一个用于互信息损失，通过双层优化动态调整这些权重。我们的方法在五个主流 TS 任务上实现了现有的 SOTA 或相当于其性能，包括短期和长期预测、插值、分类和异常检测。
引用
@article{arxiv.2410.16489,
title = {LLM-TS Integrator: Integrating LLM for Enhanced Time Series Modeling},
author = {Can Chen and Gabriel Oliveira and Hossein Sharifi Noghabi and Tristan Sylvain},
journal= {arXiv preprint arXiv:2410.16489},
year = {2024}
}
备注
18 pages, 13 figures, 18 tables