PatchFormer：基于分块的时间序列基础模型，采用层次化遮蔽重建与跨域迁移学习实现零样本多步预测
机器学习
2026-01-29 v1 信号处理
摘要
时间序列预测是具有气候、能源、医疗和金融等应用的基础问题。许多现有方法需要特定领域的特征工程以及每个任务大量标记数据。我们引入 PatchFormer，一种基于分块的时间序列基础模型，使用层次化遮蔽重建进行自监督预训练，并采用轻量化适配器实现高效迁移。PatchFormer 将时间序列分割为分块，并通过可学习的聚合机制在不同时间尺度上学习多尺度时间表示。预训练使用带有动态遮蔽的分块重建，目标鼓励局部精度与全局一致性，随后进行跨域知识蒸馏。实验在覆盖气象、能源、交通、金融和医疗等 24 个基准数据集上展示了领先的零样本多步预测性能，均方误差相对于强基准降低 27.3%，且仅需 94% 的任务特定训练数据。该模型在更多预训练数据（最高达 1000 亿点）下表现出接近对数线性的规模效应，并比完整序列变压器快 3.8 倍处理长度 512 的序列。
关键词
引用
@article{arxiv.2601.20845,
title = {PatchFormer: A Patch-Based Time Series Foundation Model with Hierarchical Masked Reconstruction and Cross-Domain Transfer Learning for Zero-Shot Multi-Horizon Forecasting},
author = {Olaf Yunus Laitinen Imanov and Derya Umut Kulali and Taner Yilmaz},
journal= {arXiv preprint arXiv:2601.20845},
year = {2026}
}
备注
5 pages; 2 figures; 7 tables