基于非可逆随机梯度朗之万动力学的非凸优化
最优化与控制
2020-06-04 v2 机器学习
摘要
Stochastic Gradient Langevin Dynamics（SGLD，随机梯度朗之万动力学）是优化非凸目标的强力算法，其向随机梯度加入受控且适当缩放的高斯噪声以引导迭代走向全局极小。SGLD基于时间可逆的过阻尼朗之万扩散。通过在过阻尼朗之万扩散的漂移项中加入反对称矩阵，可得收敛至同一平稳分布且收敛更快的非可逆扩散。本文研究基于非可逆朗之万扩散离散化的非可逆随机梯度朗之万动力学（NSGLD）。我们给出NSGLD求解随机非凸优化问题全局收敛的有限时间性能界。我们的结果对总体风险与经验风险最小化问题均给出非渐近保证。针对贝叶斯独立分量分析与神经网络模型的数值实验表明，在恰当选择反对称矩阵时NSGLD可优于SGLD。
引用
@article{arxiv.2004.02823,
title = {Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics},
author = {Yuanhan Hu and Xiaoyu Wang and Xuefeng Gao and Mert Gurbuzbalaban and Lingjiong Zhu},
journal= {arXiv preprint arXiv:2004.02823},
year = {2020}
}
备注
45 pages