中文

高维随机势地形全局极小处的 Hessian 谱

无序系统与神经网络 2019-03-19 v2 统计力学 数学物理 math.MP

摘要

利用副本方法,我们计算了随机 N1N \gg 1 维各向同性、平移不变高斯随机势地形在由固定曲率 μ>0\mu>0 的抛物势约束下的全局极小处 Hessian 矩阵的平均谱密度。对于 μ>μc\mu>\mu_{c},典型为一般仅有一个极小值的简单势地形,我们证明全局极小处的 Hessian 始终为{\it 有隙的},其低谱边严格为正。当从上方逼近将简单势地形与具有指数丰富极小值的“玻璃态”势地形分开的过渡点 μ=μc\mu= \mu_{c} 时,谱隙以 (μμc)2(\mu-\mu_c)^2 消失。对于 μ<μc\mu<\mu_c,Hessian 谱在“中等复杂”与“真正复杂”势地形中有质的不同。前者对于短程相关随机势典型,对应于一步副本对称破缺机制。其 Hessian 谱再次为有隙的,隙在从下方逼近 μc\mu_c 时以更大的临界指数 (μcμ)4(\mu_c-\mu)^4 消失。同时,在具有长程幂律相关的“最复杂”势地形中副本对称完全破缺。我们证明该情况下 Hessian 对所有 μ<μc\mu<\mu_c 保持无隙,表明存在“边际稳定”空间方向。最后,具有{\it 对数}相关的势地形兼具 1RSB 性质与无隙谱。Hessian 的谱密度总取半圆形,除我们显式计算的平移与振幅外。

关键词

引用

@article{arxiv.1806.05294,
  title  = {Hessian spectrum at the global minimum of high-dimensional random landscapes},
  author = {Yan V Fyodorov and Pierre Le Doussal},
  journal= {arXiv preprint arXiv:1806.05294},
  year   = {2019}
}

备注

28 pages, 1 figure; a brief summary of main results is added to the introduction