学习多样化特征之和：针对ridge组合的计算困难性与高效梯度训练

我们研究学习具有可加结构的目标函数 $f_*:\mathbb{R}^d\to\mathbb{R}$ 的计算复杂度和样本复杂度，即 $f_*(x) = \frac{1}{\sqrt{M}}\sum_{m=1}^M f_m(\langle x, v_m\rangle)$，其中 $f_1,f_2,...,f_M:\mathbb{R}\to\mathbb{R}$ 为单指数模型（ridge函数）的非线性链接函数，其指数特征 $\{v_m\}_{m=1}^M$ 具有多样性且趋于正交，添加任务的数量 $M$ 随维度 $d$ 而增长 $M\asymp d^\gamma$（$\gamma\ge 0$）。本问题设置受到经典可加模型文献、近期两层神经网络表示学习理论以及大规模预训练中模型同时获得大量“技能”且这些技能常局限于训练网络不同部分的动机。我们证明，尽管目标链接函数未知且 $M$ 随维度增长，一个大子集的多项式 $f_*$ 可通过梯度下降训练两个隐藏层神经网络高效学习，其多项式统计复杂度和计算复杂度取决于任务数量 $M$ 和 $f_m$ 的信息指数。我们通过建立统计查询（SQ）下界，对称性SQ和完全SQ算法的可计算性，补充了这种可学习性保证的计算困难性结果。