缓解不可辨识性对带潜变量贝叶斯神经网络推断的影响
机器学习
2022-09-19 v4 机器学习
摘要
带潜变量的贝叶斯神经网络（BNN+LVs）通过显式建模模型不确定性（经由网络权重的先验）与环境随机性（经由潜输入噪声变量）来捕捉预测不确定性。在这项工作中，我们首先表明BNN+LV遭受一种严重形式的不可辨识性：在同样很好地拟合数据的同时，解释力可在模型参数与潜变量之间转移。我们证明，因此，在无限数据极限下，网络权重与潜变量上的后验模渐近偏离开真实值。由于此渐近偏差，传统推断方法在实践中可能给出泛化性差且误估不确定性的参数。接下来，我们开发了一种新颖的推断过程，它在训练期间显式缓解似然不可辨识性的影响，并产生高质量的预测与不确定性估计。我们证明我们的推断方法在一系列合成与真实数据集上优于基准方法。
引用
@article{arxiv.1911.00569,
title = {Mitigating the Effects of Non-Identifiability on Inference for Bayesian Neural Networks with Latent Variables},
author = {Yaniv Yacoby and Weiwei Pan and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:1911.00569},
year = {2022}
}
备注
Accepted at JMLR 2022. Previously accepted at ICML's Uncertainty and Robustness in Deep Learning Workshop 2019