深度模型变分贝叶斯的良好初始化
机器学习
2019-01-28 v2 机器学习
摘要
随机变分推断是对深度模型进行近似贝叶斯推断的一种既定方法。虽然深度学习中针对损失最小化的良好初始化已有有效提议，但随机变分推断的初始化问题却很少受到关注。我们通过提出一种基于贝叶斯线性模型的新型逐层初始化策略来解决这一问题。所提方法在回归和分类任务上进行了广泛验证，包括Bayesian DeepNets和ConvNets，显示出比受损失最小化初始化文献启发的替代方法更快且更好的收敛。
引用
@article{arxiv.1810.08083,
title = {Good Initializations of Variational Bayes for Deep Models},
author = {Simone Rossi and Pietro Michiardi and Maurizio Filippone},
journal= {arXiv preprint arXiv:1810.08083},
year = {2019}
}
备注
8 pages of main paper (+3 for references and +6 of supplement material)