EnTransformer：用于多变量概率预测的深度生成 Transformer
机器学习
2026-03-13 v1 人工智能
机器学习
摘要
可靠的不确定性量化在诸如能源系统和交通网络等众多领域的多变量时间序列预测问题中至关重要。虽然 Transformer 架构最近在序列建模方面取得了显著成绩，但大多数概率预测方法依赖限制性的参数化似然或基于分位数的目标函数，难以捕获跨多个相关时间序列的复杂联合预测分布。本文提出了 EnTransformer，一种深度生成预测框架，将 engression——一种用于建模条件分布的随机学习范式——与 Transformer 的强大序列建模能力相结合。该方法将随机噪声注入模型表示，并优化能量基准评分目标，直接学习条件预测分布，而无需施加参数化假设。该设计使 EnTransformer 能够生成连贯的多变量预测轨迹，同时保留 Transformer 对长程时间依赖和跨序列相互作用的有效建模能力。我们在多个广泛使用的多变量概率预测基准数据集上评估了所提出的 EnTransformer，包括 Electricity、Traffic、Solar、Taxi、KDD-cup 和 Wikipedia 数据集。实验结果表明，EnTransformer 产生了校准良好的概率预测，并在所有基准模型中一致表现出色。
引用
@article{arxiv.2603.11909,
title = {EnTransformer: A Deep Generative Transformer for Multivariate Probabilistic Forecasting},
author = {Rajdeep Pathak and Rahul Goswami and Madhurima Panja and Palash Ghosh and Tanujit Chakraborty},
journal= {arXiv preprint arXiv:2603.11909},
year = {2026}
}