生成跃:高效学习高斯多指数模型的尖锐样本复杂度
机器学习
2025-06-09 v1 机器学习
摘要
在本工作中,我们考虑通用的高斯多指数模型,其中标签仅依赖于(高斯) 维输入通过其在低维 子空间上的投影,我们研究用于该隐藏子空间的高效agnostic估计程序。我们引入\emph{生成跃}指数 ,即从[Damian等人'24]推导到多指数设置的自然生成指数的延伸。我们首先表明,样本复杂度为 是Low-Degree-Polynomial框架中算法类的必要条件。随后我们证明了这种样本复杂度也是充分的,通过给出一种agnostic顺序估计程序(即无需多指数模型的先验知识),基于对适当Hermite张量的谱U统计量。我们进一步计算了包括分段线性函数(带偏置的深ReLU网络)和一般深神经网络(具有 维第一隐藏层)的多个例子的生成跃指数。
引用
@article{arxiv.2506.05500,
title = {The Generative Leap: Sharp Sample Complexity for Efficiently Learning Gaussian Multi-Index Models},
author = {Alex Damian and Jason D. Lee and Joan Bruna},
journal= {arXiv preprint arXiv:2506.05500},
year = {2025}
}