通过最近邻对比学习重新思考基于大语言模型的时间序列预测
机器学习
2024-12-09 v1 人工智能
计算与语言
摘要
利用在海量文本数据上广泛训练的大型语言模型（LLMs），并通过定制输入提示来实现时间序列预测已受到广泛关注。尽管近期工作展示了利用 LLMs 已学先验知识的巨大潜力，但用于微调 LLMs 的提示构建仍具有挑战性，因为提示需要与时间序列数据对齐。此外，现有方法未能有效利用体现 LLMs 丰富表示空间的词元嵌入。这凸显了对一种鲁棒的提示构建方法的需求，该方法需同时利用词元嵌入并有效表征时间序列的特征。为应对这些挑战，本文提出 NNCL-TLLM：基于最近邻对比学习的时间序列预测大语言模型方法。首先，生成与时间序列兼容的文本原型，使每个文本原型通过端到端微调同时表征其邻域内的词元嵌入和时间序列特征。其次，从最近邻对比学习中汲取灵感来构建提示，同时获取前 k 个最近邻的与时间序列兼容的文本原型。然后，微调 LLM 的层归一化和位置嵌入，保持其余层不变，从而减少可训练参数并降低计算成本。全面的实验表明，NNCL-TLLM 在少样本预测中表现优异，并在长期和短期预测任务中取得了与最先进方法相当或更优的性能。
引用
@article{arxiv.2412.04806,
title = {Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning},
author = {Jayanie Bogahawatte and Sachith Seneviratne and Maneesha Perera and Saman Halgamuge},
journal= {arXiv preprint arXiv:2412.04806},
year = {2024}
}