Anchor-MoE：用于概率回归的均值锚定专家混合模型

不确定性下的回归是科学和工程领域的基础。我们提出了一种锚定专家混合模型（Anchor-MoE），该模型同时处理概率回归和点回归。为简单起见，我们使用一个调优的梯度提升模型来提供锚定均值；然而，任何现成的点回归器都可以作为锚定。锚定预测被投影到一个潜在空间中，其中可学习的度量窗口核评分局部性，软路由器将每个样本分派给一小部分混合密度网络专家；专家产生异方差校正和预测方差。我们通过最小化负对数似然进行训练，并在一个不相交的校准分割上拟合一个事后线性映射到预测均值以提高点精度。在理论方面，假设回归函数为α阶Hölder光滑且具有有界重叠的固定Lipschitz单位分割权重，我们证明Anchor-MoE达到了极小极大最优的$L^2$风险率$O\!\big(N^{-2\alpha/(2\alpha+d)}\big)$。此外，CRPS测试泛化差距按$\widetilde{O}\!\Big(\sqrt{(\log(Mh)+P+K)/N}\Big)$缩放；它关于$Mh$是对数的，关于$P$和$K$是平方根缩放。在有界重叠路由下，$K$可以被$k$替换，对潜在维度的任何依赖都被吸收到$P$中。在均值和方差一致有界的情况下，类似的$\widetilde{O}\!\big(\sqrt{(\log(Mh)+P+K)/N}\big)$缩放对于测试NLL在常数因子内成立。在经验上，在标准UCI回归中，Anchor-MoE在RMSE和NLL方面始终匹配或超过强大的NGBoost基线；在几个数据集上，它在我们的基准套件上取得了新的最先进的概率回归结果。代码可在 https://github.com/BaozhuoSU/Probabilistic_Regression 获取。