高维随机势地形全局极小处的 Hessian 谱
无序系统与神经网络
2019-03-19 v2 统计力学
数学物理
math.MP
摘要
利用副本方法,我们计算了随机 维各向同性、平移不变高斯随机势地形在由固定曲率 的抛物势约束下的全局极小处 Hessian 矩阵的平均谱密度。对于 ,典型为一般仅有一个极小值的简单势地形,我们证明全局极小处的 Hessian 始终为{\it 有隙的},其低谱边严格为正。当从上方逼近将简单势地形与具有指数丰富极小值的“玻璃态”势地形分开的过渡点 时,谱隙以 消失。对于 ,Hessian 谱在“中等复杂”与“真正复杂”势地形中有质的不同。前者对于短程相关随机势典型,对应于一步副本对称破缺机制。其 Hessian 谱再次为有隙的,隙在从下方逼近 时以更大的临界指数 消失。同时,在具有长程幂律相关的“最复杂”势地形中副本对称完全破缺。我们证明该情况下 Hessian 对所有 保持无隙,表明存在“边际稳定”空间方向。最后,具有{\it 对数}相关的势地形兼具 1RSB 性质与无隙谱。Hessian 的谱密度总取半圆形,除我们显式计算的平移与振幅外。
引用
@article{arxiv.1806.05294,
title = {Hessian spectrum at the global minimum of high-dimensional random landscapes},
author = {Yan V Fyodorov and Pierre Le Doussal},
journal= {arXiv preprint arXiv:1806.05294},
year = {2019}
}
备注
28 pages, 1 figure; a brief summary of main results is added to the introduction