面向非凸学习的随机梯度哈密顿蒙特卡洛
机器学习
2020-02-26 v3 机器学习
摘要
随机梯度哈密顿蒙特卡洛（SGHMC）是随机梯度下降的动量版本，通过适当注入高斯噪声以寻找全局最小值。本文在非凸优化背景下给出 SGHMC 的非渐近收敛分析，其中在独立同分布数据集上采用子采样技术进行梯度更新。我们的结果补充了 [RRT17] 的结果，并改进了 [GGZ18] 的结果。
关键词
引用
@article{arxiv.1903.10328,
title = {Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Learning},
author = {Huy N. Chau and Miklos Rasonyi},
journal= {arXiv preprint arXiv:1903.10328},
year = {2020}
}