使用低秩适配的基础模型迁移学习用于时间序列预测
机器学习
2025-05-13 v3
摘要
基础模型是GenAI中一种新兴的广泛使用的技术。这些模型以其可扩展性和易于通过利用迁移学习进行适配而著称。高计算能力和大数据集的可用性支持了它们的发展，由于初始训练中使用了巨大且异构的数据量，它们实现了高泛化能力。这些特性有助于形成一个坚实的基础，可以适配或调整到广泛的任务，从而增加其适用性。本研究提出了LLIAM方法，这是一种将基础模型（即大语言模型）简单适配到时间序列预测任务的方法。使用适当的时间序列提示方案和低秩适配来利用多样化的时间序列数据集增强模型的知识，即微调阶段。为了评估所提出方法的有效性，进行了一项分为两个阶段的研究。首先，比较了LLIAM与各种最先进的深度学习算法（包括循环神经网络和时间卷积网络）以及一种基于LLM的方法TimeLLM的性能。随后，进行了一项零样本研究，以评估所提出方法对来自未知领域（未在模型训练中考虑）的时间序列数据集的泛化能力。这项研究的结果证明了LLIAM的有效性，突出了这种简单且通用的方法无需应用复杂的修改即可获得有竞争力的结果。这项工作也鼓励使用现有资源（例如这些预训练模型）和高效的微调技术，以避免不必要且昂贵的训练，缩小传统AI与绿色AI目标之间的差距。
引用
@article{arxiv.2410.11539,
title = {Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations},
author = {M. Germán-Morales and A. J. Rivera-Rivas and M. J. del Jesus Díaz and C. J. Carmona},
journal= {arXiv preprint arXiv:2410.11539},
year = {2025}
}