贝叶斯模型平均中模式探索对神经网络的有效性研究
机器学习
2021-12-08 v1 机器学习
摘要
在监督学习环境下，利用深度神经网络产生校准预测概率的多种技术已经出现，这些技术借助集成循环训练中或多个随机起点训练（深度集成）发现的多样解的方法。然而，仅有少量工作研究了探索每个多样解（后验模式）附近局部区域的效用。我们在CIFAR-10数据集上使用三种知名深度架构，针对Brier分数、准确率和期望校准误差，评估了几种探索权重空间局部区域的简单方法。我们考虑了贝叶斯推断技术（变分推断与应用于softmax输出层的Hamiltonian Monte Carlo）以及利用靠近最优点的随机梯度下降轨迹。虽然向集成中添加独立模式一致地提升了性能，但我们表明此处考虑的简易模式探索方法相较无模式探索的集成几乎未带来改善。
引用
@article{arxiv.2112.03773,
title = {On the Effectiveness of Mode Exploration in Bayesian Model Averaging for Neural Networks},
author = {John T. Holodnak and Allan B. Wollaber},
journal= {arXiv preprint arXiv:2112.03773},
year = {2021}
}
备注
Presented at the ICML 2021 Workshop on Uncertainty and Robustness in Deep Learning