论贝叶斯神经网络中近似推断的表达能力
机器学习
2020-10-26 v4 机器学习
摘要
尽管贝叶斯神经网络（BNNs）有望成为灵活且校准良好的统计模型，推断常需近似，其后果却鲜被理解。我们研究常见变分方法在近似贝叶斯预测分布时的质量。对于单隐层 ReLU BNN，我们证明了权重空间中两类最常用分布——平均场高斯与蒙特卡洛 dropout——在函数空间上的根本局限：存在简单情形，两种方法均无法在间隔良好的低不确定性区域之间显著增大不确定性。我们提供强有力经验证据，表明精确推断无此缺陷，故其源于近似而非模型。相反，对于深层网络，我们证明一个普适性结果：上述类别中存在可提供灵活不确定性估计的近似后验。然而，我们经验发现，执行深层网络变分推断时，与单隐层情形类似形式的缺陷可能持续存在。我们的结果促使人们审慎考量 BNN 中近似推断方法的影响。
引用
@article{arxiv.1909.00719,
title = {On the Expressiveness of Approximate Inference in Bayesian Neural Networks},
author = {Andrew Y. K. Foong and David R. Burt and Yingzhen Li and Richard E. Turner},
journal= {arXiv preprint arXiv:1909.00719},
year = {2020}
}
备注
NeurIPS 2020 version