DeRegiME：基于深度归属混合模型的概率预测方法以应对分布迁移
机器学习
2026-05-20 v1 机器学习
摘要
我们提出DeRegiME——Deep Regime Mixture of Experts，即一种直接进行多时段概率预测的方法，通过分离潜在不确定性 regime 并软性地将每个预测位置分配给使用稀疏变分高斯过程（GP）的稀疏归属混合模型，后者的非平稳归属混合核函数与Student-t似然分布结合，按共享门控方式组合每个 regime 的子核函数和噪声过程。这产生单一的稀疏GP后验，而非GP专家的混合。DeRegiME解决了神经预测器的一个关键限制：点预测忽略残差不确定性，概率头部（无论是单边际、无解释混合、分位数集合还是扩散样本）几乎无法暴露残差的 regime 结构。然而，噪声异质性时间序列的分布迁移可能是突变性的、渐进性的或时段依赖性的，常常在残差不确定性中呈现。DeRegiME构建可解释的均值-残差-噪声分解，采用直接和方式的特征空间表示，将 regime 锚定为残差相似性的聚类，其转换表现为隐式的变点。通过stick-breaking门控削减有效的 regime 数量。我们证明了核函数的有效性和预测密度的合法性。在十个基准数据集和三个编码器网格上，DeRegiME相对于最强的编码器匹配基线（DeepAR/GluonTS风格的动态Student-t头部）在负对数预测密度（NLPD）上提升了20.3%，在CRPS（提升3.0%）和MSE（提升4.7%）上也取得并行的 gains。所有数据集上的改进均持续稳定，这些数据集涵盖了突变性、渐进性和季节性迁移。
引用
@article{arxiv.2605.19231,
title = {DeRegiME: Deep Regime Mixtures for Probabilistic Forecasting under Distribution Shift},
author = {Kieran Wood and Stefan Zohren and Stephen J. Roberts},
journal= {arXiv preprint arXiv:2605.19231},
year = {2026}
}