打破可逆性加速朗之万动力学以实现全局非凸优化
最优化与控制
2020-10-06 v4 机器学习
数值分析
概率论
机器学习
摘要
朗之万动力学（LD）已被证明是一种优化非凸目标的有力技术，作为一种高效算法，它可找到局部极小，同时在更长时间尺度上最终访问全局最小。LD 基于时间可逆的一阶朗之万扩散。我们研究了两种基于不可逆朗之万扩散的变体：欠阻尼朗之万动力学（ULD）和带非对称漂移项（NLD）的朗之万动力学。将 Tzen、Liang 和 Raginsky（2018）针对 LD 的技术推广至不可逆扩散，我们证明：对于给定的、距初始化任意距离的局部极小，以高概率，要么 ULD 轨迹在依赖于该局部极小处 Hessian 最小特征值的回归时间内结束于该局部极小的小邻域之外，要么它们在回归时间内进入该邻域并在潜在指数级长的逃逸时间内停留其中。ULD 算法在关于局部极小处 Hessian 最小特征值的依赖关系上，改进了 Tzen、Liang 和 Raginsky（2018）中 LD 所得的回归时间。NLD 算法获得了类似的结果与改进。我们还表明，当目标具有被鞍点分隔的两个局部极小值时，不可逆变体在离散时间下能更快退出局部极小的吸引域，并量化了改进程度。我们的分析表明，不可逆朗之万算法在定位局部极小以及探索状态空间方面更高效。我们的分析基于目标在局部极小附近的二次近似。作为分析的副产品，我们获得了所考虑的两种不可逆朗之万算法在 2-Wasserstein 距离下对二次目标的最优混合率。
引用
@article{arxiv.1812.07725,
title = {Breaking Reversibility Accelerates Langevin Dynamics for Global Non-Convex Optimization},
author = {Xuefeng Gao and Mert Gurbuzbalaban and Lingjiong Zhu},
journal= {arXiv preprint arXiv:1812.07725},
year = {2020}
}