鞍点附近梯度下降轨迹近似的退出时间分析
最优化与控制
2023-10-10 v3 机器学习
系统与控制
系统与控制
摘要
本文研究在某些初始边界条件下，梯度相关一阶方法的轨迹从鞍点邻域退出的时间问题。鉴于鞍点附近“平坦”的几何结构，由于遇到的梯度幅值很小，一阶方法可能难以快速逃离这些区域。具体而言，尽管已知梯度相关一阶方法能够逃离严格鞍邻域，现有的解析技术并未显式利用鞍点附近的局部几何来控制梯度轨迹的行为。在此背景下，本文利用矩阵扰动理论对严格鞍邻域附近的梯度下降方法进行了严格的几何分析。由此，给出一个关键结果，可用于对任意给定初始条件生成近似梯度轨迹。此外，该分析在某些必要的初始条件下导出了梯度下降方法的线性退出时间解，其显式刻画了对于一类严格鞍函数，退出时间对问题维度、鞍邻域条件数等的依赖关系。
引用
@article{arxiv.2006.01106,
title = {Exit Time Analysis for Approximations of Gradient Descent Trajectories Around Saddle Points},
author = {Rishabh Dixit and Mert Gurbuzbalaban and Waheed U. Bajwa},
journal= {arXiv preprint arXiv:2006.01106},
year = {2023}
}
备注
70 pages; pre-print of the journal paper published in Information and Inference: A Journal of the IMA, 2023