用于长期时间序列预测的联邦大语言模型
机器学习
2024-07-31 v1 人工智能
摘要
集中环境中的长期时间序列预测在数据隐私、通信开销和可扩展性方面面临独特挑战。为应对这些挑战，我们提出了FedTime，一个专为长程时间序列预测设计的联邦大语言模型(LLM)。具体而言，我们引入了一种联邦预训练LLM，并采用微调和对齐策略。在学习过程之前，我们使用K-means聚类将边缘设备或客户端划分为不同的簇，从而促进更有针对性的模型训练。我们还结合了通道独立性和分块来更好地保留局部语义信息，确保在最小化信息丢失风险的同时保留重要的上下文细节。我们通过在各种真实世界预测基准上的广泛实验展示了FedTime模型的有效性，展示了相对于近期方法的显著提升。此外，我们展示了FedTime在简化资源使用方面的效率，从而减少了通信开销。
引用
@article{arxiv.2407.20503,
title = {A federated large language model for long-term time series forecasting},
author = {Raed Abdel-Sater and A. Ben Hamza},
journal= {arXiv preprint arXiv:2407.20503},
year = {2024}
}