DAM：面向时间序列预测的基础模型
机器学习
2024-07-26 v1
摘要
扩大时间序列预测模型的规模，以便在多个具有不同收集程序（例如不同采样分辨率）、模式（例如周期性）和预测要求（例如重建 vs. 预测）的领域和数据集上准确预测，具有挑战性。我们将此通用任务称为通用预测。现有方法通常假设输入数据为规则采样，并预测至预定的预测范围，从而在训练范围之外无法泛化。我们提出 DAM—a 神经模型，该模型接受随机采样的历史记录，并输出对时间的连续函数进行预测的可调 basis 组成。它包含三个关键组件：(1) 一种灵活的用于从长尾分布中随机采样历史记录的方法，既能捕捉 underlying 时间动态的全局视角，又能聚焦于最近的历史；(2) 在这些主动采样的历史记录上训练的 Transformer 主干网络，作为 representational 输出；(3) 时间连续函数的 basis 系数。我们展示，单个单变量 DAM 在训练 25 个时间序列数据集后，在 18 个数据集（包括 8 个用于零样迁移的 held-out 数据集）上的多变量长期预测中，或超过或与现有的 SOTA 模型相当，尽管这些模型被设计为针对每个数据集-预测范围组合进行专业化。该单一 DAM 在零样迁移和 very-long-term 预测方面表现出色，插值方面表现良好，可通过 basis 函数组成和注意力机制进行解释，可以针对不同的推理成本需求进行调优，对缺失和不规则采样的数据天然具有鲁棒性。
引用
@article{arxiv.2407.17880,
title = {DAM: Towards A Foundation Model for Time Series Forecasting},
author = {Luke Darlow and Qiwen Deng and Ahmed Hassan and Martin Asenov and Rajkarn Singh and Artjom Joosen and Adam Barker and Amos Storkey},
journal= {arXiv preprint arXiv:2407.17880},
year = {2024}
}