力平衡控制可满足相中梯度下降算法的弛豫时间
无序系统与神经网络
2020-05-20 v3 统计力学
摘要
我们数值研究了具有球面约束的单层感知器的弛豫动力学。这是最简单的神经网络模型，并作为凸和非凸优化问题的典型平均场模型。梯度下降算法的弛豫时间在 SAT-UNSAT 转变点附近迅速增加。我们通过数值验证，Hessian 矩阵的第一个非零特征值控制着弛豫时间。在接近 SAT-UNSAT 转变点时，该第一特征值的消失速度远快于随机矩阵理论中基于未满足约束集合不相关假设的 Marchenko-Pastur 律的预测。这导致了 SAT 相中弛豫时间的非平凡临界指数。通过简单的标度分析，我们表明该第一特征值与谱主体的分离归因于 SAT-UNSAT 转变点处的力平衡。最后，我们证明在非凸区域估计的弛豫时间临界指数与在颗粒材料堵塞转变背景下研究的无摩擦球形粒子的临界指数吻合得很好。
引用
@article{arxiv.1910.07307,
title = {Force balance controls the relaxation time of the gradient descent algorithm in the satisfiable phase},
author = {Sungmin Hwang and Harukuni Ikeda},
journal= {arXiv preprint arXiv:1910.07307},
year = {2020}
}
备注
10 pages, 12 figures