探索概率 Transformer 用于时间序列建模的潜力：ST-PT 框架报告
机器学习
2026-04-30 v1 人工智能
摘要
概率 Transformer (PT) 表明，Transformer 的自注意力机制加上其前馈块在数学上等价于条件随机场 (CRF) 上的 Mean-Field 变分推断 (MFVI)。在这种等价性下，Transformer 不再是黑箱神经网络，而是一个可编程的因子图：图拓扑、因子潜能函数和消息传递计划都是明确可检查的原语，可以被工程化。PT 最初是为自然语言开发的，而本报告我们调查其用于时间序列的潜力。我们首先将 PT 提升为空间-时间概率 Transformer (ST-PT) 以修复 PT 的缺失通道轴和弱的逐步骤语义，并将 ST-PT 作为统一的核心背板。随后我们识别出 PT/ST-PT 作为因子图模型提供的三个 distinct 属性，并推导针对每个属性的一个研究问题，探讨如何在时间序列中利用这些属性：RQ1. 图拓扑和潜能函数是直接可编程的原语。能否通过结构图修改将符号时间序列先验注入 ST-PT，尤其是在数据稀缺和噪声环境下？RQ2. CRF 的因子矩阵是算子的潜能函数。能否在每个样本基础上外部程序化这些因子矩阵，以实现条件生成从结构化而非特征级调制固定的生成方式？RQ3. 每个 MFVI 迭代是因子图上的贝叶斯后验更新。能否将潜在空间自回归 (AR) 预测的潜在转换从不透明的 MLP 转变为原则性的后验更新，能否通过 CRF 教师将其潜在表示蒸馏到 AR 学生以抵消累积误差？我们为每个问题给出一个经验研究。总体而言，这三个研究为 ST-PT 作为时间序列建模的可编程框架奠定了基础。
引用
@article{arxiv.2604.26762,
title = {Exploring the Potential of Probabilistic Transformer for Time Series Modeling: A Report on the ST-PT Framework},
author = {Zhangzhi Xiong and Haoyi Wu and You Wu and Shuqi Gu and Kan Ren and Kewei Tu},
journal= {arXiv preprint arXiv:2604.26762},
year = {2026}
}
备注
30 pages, 2 figures