HEPA：一种自监督的时序事件预测架构
机器学习
2026-05-26 v3 人工智能
摘要
多变量时序中的关键事件（如涡轮故障、心律失常）需要精确预测，但由于事件罕见且昂贵标注，标注数据稀缺。我们引入HEPA（Horizon-conditioned Event Predictive Architecture），基于两个关键原则。首先，基于联合嵌入预测架构(JEPA)的因果Transformer编码器通过预训练实现：一个以时间窗为条件的预测器学习预测未来表示而非未来值，这迫使编码器仅从无标签数据中捕获可预测的时序动态。其次，我们冻结编码器仅对预测器进行微调以适应目标事件，产生单调递增的生存累积分布函数(CDF)随时间窗。HEPA在固定架构和优化器超参数的情况下处理水质污染、网络攻击检测、波动性 regime 以及8类额外事件，涵盖11个领域，在至少14个基准中超越PatchTST、iTransformer、MAE和Chronos-2等领先时序架构，参数调优数量减少一个数量级，在生命周期数据集上所需标注数据减少一个数量级。
关键词
引用
@article{arxiv.2605.11130,
title = {HEPA: A Self-Supervised Horizon-Conditioned Event Predictive Architecture for Time Series},
author = {Jonas Petersen and Gian-Alessandro Lombardi and Riccardo Maggioni and Camilla Mazzoleni and Federico Martelli and Philipp Petersen},
journal= {arXiv preprint arXiv:2605.11130},
year = {2026}
}
备注
9 pages main text, 15 pages appendix, 5 figures, 9 tables. Code at https://github.com/Forgis-Labs/HEPA