重访随机性对哈密顿采样器的影响
机器学习
2021-11-08 v2 统计计算
摘要
我们重访用于贝叶斯后验采样的哈密顿随机微分方程（SDE）的理论性质，并研究数值 SDE 模拟产生的两类误差：离散化误差以及数据子采样背景下含噪梯度估计带来的误差。我们的主要结果是通过微分算子分裂的视角对 mini-batch 效应进行新颖分析，修正了先前文献的结果。哈密顿 SDE 的随机分量与梯度噪声解耦，且我们对后者不作正态性假设。这导致识别出一个收敛瓶颈：当考虑 mini-batch 时，可达到的最佳误差率为 ，其中 为积分器步长。我们的理论结果得到贝叶斯神经网络上多种回归与分类任务实证研究支持。
引用
@article{arxiv.2106.16200,
title = {Revisiting the Effects of Stochasticity for Hamiltonian Samplers},
author = {Giulio Franzese and Dimitrios Milios and Maurizio Filippone and Pietro Michiardi},
journal= {arXiv preprint arXiv:2106.16200},
year = {2021}
}