多块预测：适配大语言模型进行时序表示学习
机器学习
2024-03-12 v2
摘要
在本研究中，我们提出了 aLLM4TS，这是一个将大语言模型（LLMs）适配于时间序列表示学习的创新框架。我们方法的核心在于将时间序列预测重新构想为一种自监督的多块预测任务，与传统的对比学习或掩码重建方法相比，该方法能更有效地捕捉块表示中的时序动态。我们的策略包含两阶段训练：(i) 基于下一块预测的因果持续预训练阶段，在各种时间序列数据集上进行，有效同步 LLM 能力与时间序列数据的复杂性；(ii) 针对目标时间序列上下文的多块预测微调。我们框架的一个独特元素是逐块解码层，它脱离了以往依赖序列级解码的方法。这种设计直接将单个块转置为时间序列，从而显著增强了模型掌握基于时序块表示的能力。aLLM4TS 在多个下游任务中表现出卓越性能，证明了其在推导具有更强迁移能力的时序表示方面的有效性，标志着 LLM 适配于时间序列分析的关键进展。
引用
@article{arxiv.2402.04852,
title = {Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning},
author = {Yuxuan Bian and Xuan Ju and Jiangtong Li and Zhijian Xu and Dawei Cheng and Qiang Xu},
journal= {arXiv preprint arXiv:2402.04852},
year = {2024}
}