基于贝叶斯神经网络的直接贝ete 自由能最小化

我们提出通过直接最小化贝ete 自由能来训练贝叶斯神经网络，而非最大化变分下界。在树状因子图上，贝ete 自由能是精确的；确定性层从目标函数中淘汰，并通过标准反向传播进行训练，因此该框架无需修改即可容纳概率子图和确定性子图的任意混合。将权重后验限制为最后一层的高斯分布后，可获得可解析的损失函数：对于高斯似然，贝ete 损失等于精确的边际似然；对于 probit 似然，则通过 probit-高斯卷积化简为闭式解。两个目标严格位于 MAP 和 ELBO 之间（$L_\text{MAP} \leq L_\text{Bethe} \leq L_\text{ELBO}$），消除了任何变分族都无法消除的结构 Jensen 差距。Z-一致先验公式使得先验精度成为可微参数，实现经验贝叶斯——权重、协方差和超参数的联合优化——仅需一次梯度传递，无需交叉验证或外层循环。所有变体在 MAP 相当推断成本下都具有闭式预测，与集成方法和抽样方法不同。在 8 个 UCI 回归和 12 个 UCI 分类基准测试中，我们在单一共享的超参数方案下，对比了标准参考方法，贝ete 在单次计算成本下表现出竞争力。独立地，联合单次经验贝叶斯几乎在所有数据集变体组合上都与先验精度的网格搜索交叉验证相匹配，消除了外层超参数循环且无需额外成本。少数数据集上的孤立优化差距反映的是框架的数值局限性，而非原则性限制。