通过迭代子空间逼近学习多指数模型

我们研究了在高斯分布下学习带标签噪声的多指数模型（Multi-Index Models, MIMs）的任务。$K$ 维 MIM 是指函数 $f$ 仅依赖于某个 $K$ 维子空间。我们聚焦于具有有限取值范围且满足特定规则性质的良好 MIM。我们的主要贡献是提出一个在统计查询（Statistical Query, SQ）模型中在质量上达到最优的通用鲁棒学习器。该算法通过计算条件低阶矩来逐步构建更好的子空间逼近，其中条件是基于迄今为止计算的子空间投影；同时添加相对经验矩较大的方向。此过程有效地找到子空间 $V$，使得 $f(\mathbf{x})$ 与 $V$ 上投影的函数值接近。相反，对于这些条件矩无助于改进的函数，我们证明了 SQ 下界，表明不存在高效学习器。作为应用，我们提供了以下概念类的快速鲁棒学习器：* **多类线性分类器** 我们给出一个常数因子近似agnostic学习器，样本复杂度为 $N = O(d) 2^{\mathrm{poly}(K/\epsilon)}$，计算复杂度为 $\mathrm{poly}(N, d)$。这是该类第一个在计算复杂度上为固定次数多项式 $d$ 的常数因子agnostic学习器。* **半空间交集** 我们给出一个近似agnostic学习器，实现0-1误差为 $K \tilde{O}(\mathrm{OPT}) + \epsilon$，样本复杂度为 $N=O(d^2) 2^{\mathrm{poly}(K/\epsilon)}$，计算复杂度为 $\mathrm{poly}(N, d)$。这是该类第一个在误差上近似线性且复杂度为固定次数多项式 $d$ 的agnostic学习器。此外，我们表明在随机分类噪声存在时，本算法的复杂度随 $1/\epsilon$ 多项式增长。