关于高斯数据之外的单指标模型

稀疏高维函数已成为研究使用浅层神经网络的梯度下降方法行为的丰富框架，展示了其在线性模型之外进行特征学习的能力。在这些函数中，最简单的是单指标模型 $f(x) = \phi( x \cdot \theta^*)$，其中标签由任意非线性标量链接函数 $\phi$ 应用于输入数据的未知一维投影 $\theta^*$ 生成。通过关注高斯数据，最近的若干工作构建了引人注目的图景，其中所谓的信息指数（与链接函数的正则性相关）控制了所需的样本复杂度。本质上，这些工具利用了高斯分布的稳定性和球对称性。在本工作中，基于 \cite{arous2020online} 的框架，我们探索了此图景在高斯设定之外的扩展，其中稳定性和对称性都可能被违背。聚焦于 $\phi$ 已知的植入设定，我们的主要结果确立了随机梯度下降可以在高维 regime 下高效恢复未知方向 $\theta^*$，其所基于的假设扩展了先前的工作 \cite{yehudai2020learning,wu2022learning}。