通过与伪局部极小值:尖峰矩阵-张量模型中的下降算法与局部极小
机器学习
2020-01-22 v4 无序系统与神经网络
统计理论
机器学习
统计理论
摘要
在这项工作中,我们定量分析了典型推断问题——尖峰矩阵-张量模型中损失景观与下降算法性能之间的相互作用。我们研究一个损失函数,它是该模型负对数似然。我们利用Kac-Rice公式分析了在距信号/尖峰固定距离处局部极小值的数量,并定位了在大信噪比下景观的平庸化现象。我们利用无序系统物理中为Langevin动力学开发的积分-微分偏微分方程,以闭合形式评估了梯度流算法的性能。我们分析了一种近似消息传递算法通过其状态演化估计最大似然配置的性能。最后我们比较上述结果:虽然我们观察到即使在景观平庸的区域,梯度流动力学也出现剧烈减慢,但所分析的两种算法均被证明即使在存在伪局部极小值的参数区域部分也能表现良好。
引用
@article{arxiv.1902.00139,
title = {Passed & Spurious: Descent Algorithms and Local Minima in Spiked Matrix-Tensor Models},
author = {Stefano Sarao Mannelli and Florent Krzakala and Pierfrancesco Urbani and Lenka Zdeborová},
journal= {arXiv preprint arXiv:1902.00139},
year = {2020}
}
备注
12 pages + appendix, 10 figures. Appears in Proceedings of the International Conference on Machine Learning (ICML 2019)