迈向具有统一表示与自适应迁移的通用时间序列预测模型
机器学习
2025-09-09 v3 机器学习
摘要
随着多领域时间序列数据的日益普及，对在多源数据集上预训练以支持多样化下游预测场景的通用预测模型的需求不断增加。现有时间序列基础模型主要侧重于扩大预训练数据集和模型规模以增强泛化性能。在本文中，我们采取不同的方法，探讨通用预测模型的两个关键方面：（1）如何从异构的多领域时间序列数据中导出统一表示，以及（2）如何有效捕获领域特定特征以实现各种下游场景间的自适应迁移。针对第一个方面，我们提出将分解频率学习作为预训练任务，利用基于频率的掩码与重构来分解时间序列中耦合的语义信息，从而实现跨领域的统一表示。针对第二个方面，我们引入了时间序列寄存器，用于在预训练期间捕获领域特定表示，并增强对下游任务的自适应迁移能力。我们的模型在七个真实世界基准上取得了最先进的预测性能，展现出卓越的少样本与零样本能力。
引用
@article{arxiv.2405.17478,
title = {Towards a General Time Series Forecasting Model with Unified Representation and Adaptive Transfer},
author = {Yihang Wang and Yuying Qiu and Peng Chen and Kai Zhao and Yang Shu and Zhongwen Rao and Lujia Pan and Bin Yang and Chenjuan Guo},
journal= {arXiv preprint arXiv:2405.17478},
year = {2025}
}
备注
Accepted by the Forty-second International Conference on Machine Learning (ICML2025)