随机梯度朗之万动力学的驻点命中时间与遍历性研究
机器学习
2020-03-17 v4 机器学习
摘要
随机梯度朗之万动力学（SGLD）是随机优化中的基础算法。Zhang等人[2017]近期给出了SGLD到达一阶与二阶驻点命中时间的分析。Zhang等人[2017]的证明是通过界定Cheeger常数的两阶段过程，相当复杂且导致宽松的界。本文利用随机微分方程的直觉，对SGLD到达一阶与二阶驻点的命中时间给出直接分析。我们的分析简洁明了，仅依赖于基础线性代数与概率论工具。相较于Zhang等人[2017]，我们的直接分析还得到了更紧的界，并显式刻画了命中时间对不同因素的依赖，包括维度、光滑性、噪声强度与步长效应。在适当条件下，我们证明SGLD到达一阶驻点的命中时间可与维度无关。此外，我们将分析应用于机器学习中若干重要的在线估计问题，包括线性回归、矩阵分解与在线PCA。
引用
@article{arxiv.1904.13016,
title = {On Stationary-Point Hitting Time and Ergodicity of Stochastic Gradient Langevin Dynamics},
author = {Xi Chen and Simon S. Du and Xin T. Tong},
journal= {arXiv preprint arXiv:1904.13016},
year = {2020}
}
备注
41 pages