师生凸广义线性模型的渐近误差（或：如何证明 Kabashima 副本公式）
机器学习
2023-02-20 v6 无序系统与神经网络
信息论
机器学习
math.IT
概率论
摘要
近期，在师生设定下各类广义线性估计问题的渐近重构性能研究兴趣激增，尤其是针对独立同分布标准正态矩阵的情形。在此，我们超越这些矩阵，证明了具有任意有界谱的旋转不变数据矩阵的凸广义线性模型重构性能的解析公式，在适当假设下严格确认了最初由统计物理副本方法导出的猜想。该证明通过借助消息传递算法及其迭代的统计性质得以实现，从而刻画了估计量的渐近经验分布。对充分强凸问题，我们证明了两层向量近似消息传递算法（2-MLVAMP）收敛，其中收敛性分析通过检验一个等价动力系统的稳定性完成，从而给出此类问题的结果。接着我们证明，在集中假设下，可进行解析延拓将结果推广到凸（非强凸）问题。我们用稀疏逻辑回归和线性支持向量分类器等主流学习方法的数值例子说明了我们的结论，显示中等规模模拟与渐近预测高度吻合。
引用
@article{arxiv.2006.06581,
title = {Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula)},
author = {Cedric Gerbelot and Alia Abbara and Florent Krzakala},
journal= {arXiv preprint arXiv:2006.06581},
year = {2023}
}
备注
53 pages, 4 figures