PFformer：面向极端自适应多变量时间序列预测的无位置编码 Transformer 变体
机器学习
2025-03-03 v1 人工智能
摘要
多变量时间序列（MTS）预测在天气、能源和金融等领域至关重要。然而，尽管深度学习取得了进展，传统的基于 Transformer 的模型通常通过单一 token 嵌入削弱了关键变量间关系的作用，并且难以有效捕捉变量之间的复杂依赖关系，尤其是在包含罕见或极端事件的数据集中。这些事件造成了显著的数据不平衡并导致高偏度，使准确的预测变得复杂。本研究引入了 PFformer，这是一种无位置编码的基于 Transformer 的模型，专为单目标 MTS 预测设计，特别针对具有极端多变性的挑战性数据集。PFformer 集成了两种新颖的嵌入策略：基于增强特征的嵌入（EFE）和基于自编码器的嵌入（AEE）。EFE 通过将相关序列子集映射到高维空间来有效编码变量间依赖关系，且不受位置约束，从而增强了编码器的功能。PFformer 在 MTS 建模中摆脱了位置编码的传统限制，展现出卓越的预测精度。我们在四个具有挑战性的数据集上对 PFformer 进行了评估，重点关注两个关键预测场景：提前 3 天的长序列预测以及每四小时一次的滚动预测，以反映水资源管理中的实时决策过程。与 state-of-the-art 模型相比，PFformer 展现了 20% 到 60% 的显著提升。
引用
@article{arxiv.2502.20571,
title = {PFformer: A Position-Free Transformer Variant for Extreme-Adaptive Multivariate Time Series Forecasting},
author = {Yanhong Li and David C. Anastasiu},
journal= {arXiv preprint arXiv:2502.20571},
year = {2025}
}
备注
PAKDD 2025 special session on Data Science: Foundations and Applications (DSFA)