鲁棒学习实值多指标模型的算法与 SQ 下界

我们研究了在 Gaussian 分布下学习实值多指标模型（MIM）的复杂度。$K$-MIM 是一个函数 $f:\mathbb{R}^d\to \mathbb{R}$，它仅依赖于其输入到 $K$ 维子空间的投影。我们给出了一种通用算法，用于在存在对抗性标签噪声的情况下，以平方损失 PAC 学习一大类 MIM。此外，我们建立了一个几乎匹配的统计查询（SQ）下界，提供了证据表明我们算法的复杂度作为维度的函数在定性上是最优的。具体而言，我们考虑有界变差 MIM 类，其具有如下性质：对于到任意子空间的投影，存在至多 $m$ 阶的区分矩。在存在对抗性标签噪声的情况下，我们学习算法的复杂度为 $d^{O(m)}2^{\mathrm{poly}(K/\epsilon)}$。对于可实现和独立噪声设置，我们的算法复杂度为 $d^{O(m)}2^{\mathrm{poly}(K)}(1/\epsilon)^{O(K)}$。作为对我们上界的补充，我们证明如果对于某个子空间不存在 $m$ 阶区分矩，那么任何针对相应 MIM 类的 SQ 学习器都需要 $d^{\Omega(m)}$ 的复杂度。作为应用，我们给出了正齐次 $L$-Lipschitz $K$-MIM 类的首个高效学习器。所得算法的复杂度为 $\mathrm{poly}(d) 2^{\mathrm{poly}(KL/\epsilon)}$。这为 Lipschitz 齐次 ReLU 网络提供了一种新的 PAC 学习算法，其复杂度与网络规模无关，消除了先前工作中产生的指数依赖性。