中文

生成跃:高效学习高斯多指数模型的尖锐样本复杂度

机器学习 2025-06-09 v1 机器学习

摘要

在本工作中,我们考虑通用的高斯多指数模型,其中标签仅依赖于(高斯) dd 维输入通过其在低维 r=Od(1)r = O_d(1) 子空间上的投影,我们研究用于该隐藏子空间的高效agnostic估计程序。我们引入\emph{生成跃}指数 kk^\star,即从[Damian等人'24]推导到多指数设置的自然生成指数的延伸。我们首先表明,样本复杂度为 n=Θ(d1\k/2)n=\Theta(d^{1 \vee \k/2}) 是Low-Degree-Polynomial框架中算法类的必要条件。随后我们证明了这种样本复杂度也是充分的,通过给出一种agnostic顺序估计程序(即无需多指数模型的先验知识),基于对适当Hermite张量的谱U统计量。我们进一步计算了包括分段线性函数(带偏置的深ReLU网络)和一般深神经网络(具有 rr 维第一隐藏层)的多个例子的生成跃指数。

关键词

引用

@article{arxiv.2506.05500,
  title  = {The Generative Leap: Sharp Sample Complexity for Efficiently Learning Gaussian Multi-Index Models},
  author = {Alex Damian and Jason D. Lee and Joan Bruna},
  journal= {arXiv preprint arXiv:2506.05500},
  year   = {2025}
}