贝叶斯神经网络的最小极值性与可采性
统计理论
2026-04-07 v1 机器学习
机器学习
统计理论
摘要
贝叶斯神经网络（BNNs）为深度学习模型的推断提供了自然的概率公式。尽管其受到广泛欢迎，但通过统计决策理论视角对其最优性的关注仍有限。本文我们研究在二次损失下，由深度全连接ReLU BNNs在正态位置模型中诱导的决策规则。我们显示，对于固定的先验尺度，诱导的贝叶斯决策规则并非最小极值。随后我们提出一种对BNNs先验有效输出方差的超先验，该先验产生平方根边际密度，从而确立由此产生的决策规则同时具有可采性和最小极值性。我们进一步将这些结果从二次损失场景扩展到基于KL散度的预测密度估计问题。最后，我们通过仿真验证了这些理论发现。
引用
@article{arxiv.2604.04673,
title = {Minimaxity and Admissibility of Bayesian Neural Networks},
author = {Daniel Andrew Coulson and Martin T. Wells},
journal= {arXiv preprint arXiv:2604.04673},
year = {2026}
}
备注
95 pages and 6 figures