噪声高维推断中 Langevin 算法的妙处与陷阱
机器学习
2020-03-09 v4 无序系统与神经网络
统计理论
机器学习
统计理论
摘要
基于梯度下降的算法及其随机版本在机器学习和统计推断中有广泛应用。在这项工作中，我们对其中之一的 Langevin 算法在噪声高维推断背景下的表现进行了分析研究。我们采用 Langevin 算法对带尖峰矩阵-张量模型的后验概率测度进行采样。该算法的典型行为由我们称之为 Langevin 状态演化的一组分积分微分方程描述，其解与近似消息传递（AMP）的状态演化解进行比较。我们的结果表明，引人注目的是，Langevin 算法的算法阈值相对于 AMP 给出的阈值是次优的。我们推测该现象是由于该参数区域中存在的残余玻璃态所致。最后我们展示了一种景观退火协议，其使用 Langevin 算法但违背贝叶斯最优条件，能够接近 AMP 的性能。
引用
@article{arxiv.1812.09066,
title = {Marvels and Pitfalls of the Langevin Algorithm in Noisy High-dimensional Inference},
author = {Stefano Sarao Mannelli and Giulio Biroli and Chiara Cammarota and Florent Krzakala and Pierfrancesco Urbani and Lenka Zdeborová},
journal= {arXiv preprint arXiv:1812.09066},
year = {2020}
}
备注
11 pages and 5 figures + appendix