Time-FFM：面向时间序列预测的联邦学习基础模型
机器学习
2024-10-10 v4
摘要
与自然语言处理和计算机视觉不同，由于数据稀缺，时间序列预测的基础模型 (Foundation Models, FMs) 的开发受到阻碍。虽然最近的努力专注于通过利用语言模型 (LMs) 来实现时间序列分析，但需要为各种下游预测任务训练专用参数，这阻碍了跨域知识的共享。此外，数据所有者可能因隐私顾虑和版权保护而不愿提供对本地数据的访问，这使得不可能在跨域训练实例上简单构建FM。为此，我们提出Time-FFM，这是一个通过利用预训练语言模型实现时间序列预测的联邦基础模型。具体而言，我们将时间序列转换为文本标记的模态。为引导LMs进行时间序列推理，我们提出一个提示适应模块，用于动态确定领域定制化提示，而非人工设定。鉴于跨域数据异构性，我们设计了一种个人化联邦训练策略，通过学习全局编码器和本地预测头。我们的全面实验表明，Time-FFM 在性能上优于最先进的方法，并在有效的零样本和少样本预测方面发挥作用。
引用
@article{arxiv.2405.14252,
title = {Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting},
author = {Qingxiang Liu and Xu Liu and Chenghao Liu and Qingsong Wen and Yuxuan Liang},
journal= {arXiv preprint arXiv:2405.14252},
year = {2024}
}