随机自然梯度下降在函数空间中抽取后验样本

Samuel L. Smith; Daniel Duckworth; Semon Rezchikov; Quoc V. Le; Jascha Sohl-Dickstein

随机自然梯度下降在函数空间中抽取后验样本

机器学习 2018-11-29 v4 人工智能机器学习

作者: Samuel L. Smith , Daniel Duckworth , Semon Rezchikov , Quoc V. Le , Jascha Sohl-Dickstein

摘要

近期工作指出，随机梯度下降可在局部极小附近近似模型参数的贝叶斯不确定性。本文中，我们为小批量自然梯度下降（NGD）建立了类似的对应关系。我们证明，对于足够小的学习率，若模型在训练集上的预测逼近给定输入下标签的真实条件分布，则小批量 NGD 的平稳分布会在局部极小附近逼近贝叶斯后验。温度 $T = \epsilon N / (2B)$ 由学习率 $\epsilon$ 、训练集大小 $N$ 和批量大小 $B$ 控制。然而小批量 NGD 不具有参数化不变性，且不能在远离局部极小处采样有效后验。因此我们提出了一种新颖的优化器“随机 NGD”，引入所需的额外修正项以同时保持这两种性质。

关键词

自然梯度下降贝叶斯后验函数空间随机优化参数化不变性局部极小

引用

@article{arxiv.1806.09597,
  title  = {Stochastic natural gradient descent draws posterior samples in function space},
  author = {Samuel L. Smith and Daniel Duckworth and Semon Rezchikov and Quoc V. Le and Jascha Sohl-Dickstein},
  journal= {arXiv preprint arXiv:1806.09597},
  year   = {2018}
}

备注

Workshop on Bayesian Deep Learning (NeurIPS 2018)

随机自然梯度下降在函数空间中抽取后验样本

摘要

关键词

引用

备注

相关论文