各向同性SGD：一种实用的贝叶斯后验采样方法
机器学习
2020-06-11 v1 机器学习
摘要
在这项工作中，我们定义了一个统一的数学框架，以加深我们对随机梯度（SG）噪声在马尔可夫链蒙特卡罗采样（SGMCMC）算法行为中所起作用的理解。我们的公式开启了设计一种新颖、实用的后验采样方法，该方法使用我们解析确定的固定学习率使SG噪声各向同性，并且比现有算法需要更弱的假设。相比之下，现有SGMCMC算法的共同特征是通过将梯度淹没在加性噪声中（退火学习率）或对SG噪声协方差和损失景观几何做出限制性假设来近似各向同性条件。广泛的实验验证表明，我们的方案在SGMCMC上与最先进方法具有竞争力，同时更加实用。
引用
@article{arxiv.2006.05087,
title = {Isotropic SGD: a Practical Approach to Bayesian Posterior Sampling},
author = {Giulio Franzese and Rosa Candela and Dimitrios Milios and Maurizio Filippone and Pietro Michiardi},
journal= {arXiv preprint arXiv:2006.05087},
year = {2020}
}