高维经验风险的局部极小值：一般定理与凸示例

我们考虑一个高维经验风险最小化的一般模型，其中数据 $\mathbf{x}_i$ 是 $d$ 维高斯向量，模型由 $\mathbf{\Theta}\in\mathbb{R}^{d\times k}$ 参数化，损失函数通过投影 $\mathbf{\Theta}^\mathsf{T}\mathbf{x}_i$ 依赖于数据。该设定涵盖了经典统计方法（例如多项回归和其他广义线性模型）以及具有 $k$ 个隐藏神经元的两层全连接神经网络等特例。我们利用高斯过程理论中的 Kac-Rice 公式，在比例渐近机制 $n,d\to\infty$ 且 $n\asymp d$ 下，推导出该经验风险局部极小值期望数量的一个上界。通过马尔可夫不等式，该上界能够确定这些极小值的位置（具有指数偏差界），从而推导出关于估计误差和预测误差的精确渐近结果。作为一个特例，我们将我们的刻画应用于凸损失函数。我们证明我们的方法是紧的，并能够证明先前被推测的结果。此外，我们还刻画了极小值点处 Hessian 矩阵的谱。一篇姊妹篇论文将我们的一般结果应用于非凸示例。