为企业应用重编程基础大型语言模型(LLM)：揭示面向 Copilot 引导的跨模态时间序列表示学习的新纪元
机器学习
2024-08-27 v1 人工智能
摘要
时空预测在交通系统、物流和供应链管理等诸多领域发挥着关键作用。然而，现有方法受限于处理大规模复杂数据集的能力。为克服这一限制，我们引入了一种混合方法，结合开源大型和小型语言模型(LLM 和 LM)与传统预测方法的优势。我们通过动态提示和分组查询、多头注意力机制来增强传统方法，以更有效地捕获演化中非线性时间序列数据中的内序列和跨序列依赖。在此基础上，我们通过 Low-Rank Adaptation with Activation Memory Reduction (LoRA-AMR) 技术对较小的开源 LM 进行微调，以利用大型开源 LLM 生成的描述进行时间序列趋势分析，从而降低计算开销和激活存储内存需求，同时保持推理延迟。我们将语言模型处理用于时间序列趋势分析与传统时间序列表示学习方法相结合，以实现跨模态集成，实现稳健且准确的预测。该框架通过在多个真实数据集上的大量实验表明，相较于现有方法在预测准确度方面具有显著优势。
引用
@article{arxiv.2408.14387,
title = {Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning},
author = {Sakhinana Sagar Srinivas and Chidaksh Ravuru and Geethan Sannidhi and Venkataramana Runkana},
journal= {arXiv preprint arXiv:2408.14387},
year = {2024}
}
备注
Paper published at the Deployable AI (DAI) workshop at AAAI-2024