高维混合模型的局部几何：有效谱论与动力学转变

我们通过研究经验风险 Hessian 和信息矩阵的谱论来探讨高维情景下的局部几何。我们关注数据 $(Y_\ell)_{\ell =1}^n \in \mathbb{R}^d$ 为 $k$ 高斯混合模型的 i.i.d. 样本，且损失函数依赖于数据对固定数量向量的投影，即 $\mathbf{x}^\top Y$，其中 $\mathbf{x}\in \mathbb{R}^{d\times C}$ 为参数，$C$ 不必等于 $k$。此设置捕获了诸如通过单层或二层网络进行分类以及对多指数模型进行回归等广泛问题。我们提供了在比例极限下（即样本数和维度 $n,d\to\infty$ 且 $n/d=\phi \in (0,\infty)$）这些矩阵经验谱分布、异常特征值和特征向量的精确公式。这些极限仅通过参数 $\mathbf{x}$ 依赖于参数和类均值 $(C+k)\times (C+k)$ 矩阵的概括统计量，即 Gram 矩阵 $\mathbf{G} = (\mathbf{x},\boldsymbol{\mu})^\top(\mathbf{x},\boldsymbol{\mu})$。已知在一般条件下，当 $\mathbf{x}$ 由在线随机梯度下降训练时，这些相同概括统计量的演化收敛于自主 ODE 系统的解，称为有效动力学。这使我们能够将训练动力学连接到由测试数据生成的这些矩阵的谱论。我们通过分析多类逻辑回归中的有效谱沿有效动力学，展示了我们的通用结果。在此设置下，经验 Hessian 和信息矩阵谱显著不同，各自具有自己的静态甚至动力学谱迁移。