高维多指数模型中的最优谱迁移
机器学习
2025-06-11 v2 无序系统与神经网络
摘要
我们考虑从高斯多指数模型中获取多少样本才能弱重建相关指数子空间的问题。尽管该模型正日益流行，作为检验神经网络计算复杂性的测试平台，但在单指数设置之外的研究结果仍屈指可数。本文中，我们引入基于针对该问题量身定制的消息传递方案线性化的谱算法。我们的主要贡献在于展示所提出的方法实现了最优的重建阈值。借助对算法的高维表征，我们表明在临界阈值之上，主导特征向量与相关指数子空间相关联，这种现象类似于 Baik-Ben Arous-Peche (BBP) 在随机矩阵理论中产生的脉冲模型中的转变。本工作在数值实验和严谨理论框架的支持下，弥合了计算弱可学习性在多指数模型中的关键空白。
引用
@article{arxiv.2502.02545,
title = {Optimal Spectral Transitions in High-Dimensional Multi-Index Models},
author = {Leonardo Defilippis and Yatin Dandi and Pierre Mergny and Florent Krzakala and Bruno Loureiro},
journal= {arXiv preprint arXiv:2502.02545},
year = {2025}
}