深度学习中贝叶斯不确定性的一个简单基线
机器学习
2020-01-01 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出 SWA-Gaussian (SWAG)，一种简单、可扩展且通用的深度学习不确定性表示与校准方法。随机权重平均 (Stochastic Weight Averaging, SWA) 通过修改后的学习率调度计算随机梯度下降 (SGD) 迭代的一阶矩，近来被证明可改善深度学习的泛化能力。在 SWAG 中，我们以 SWA 解作为一阶矩，并利用同样源自 SGD 迭代的低秩加对角协方差拟合一个高斯分布，从而形成神经网络权重上的近似后验分布；随后我们从该高斯分布中采样以执行贝叶斯模型平均。我们通过实验发现，SWAG 近似了真实后验的形状，这与描述 SGD 迭代平稳分布的结果一致。此外，我们证明在与 MC dropout、KFAC Laplace、SGLD 和温度缩放等许多流行替代方法的比较中，SWAG 在分布外检测、校准和迁移学习等多种任务上表现良好。
引用
@article{arxiv.1902.02476,
title = {A Simple Baseline for Bayesian Uncertainty in Deep Learning},
author = {Wesley Maddox and Timur Garipov and Pavel Izmailov and Dmitry Vetrov and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:1902.02476},
year = {2020}
}
备注
Published at NeurIPS 2019