高斯分布下带一般 Massart 噪声的一般半空间的 PAC 学习

我们研究了在高斯分布下带 Massart 噪声的 $\mathbb{R}^d$ 上半空间（halfspace）的 PAC 学习问题。在 Massart 模型中，允许 adversary 以未知概率 $\eta(\mathbf{x}) \leq \eta$ 翻转每个点 $\mathbf{x}$ 的标签，其中参数 $\eta \in [0,1/2]$。目标是找到误分类误差为 $\mathrm{OPT} + \epsilon$ 的假设，其中 $\mathrm{OPT}$ 是目标半空间的误差。该问题此前在以下两个假设下被研究过：(i) 目标半空间是齐次的（即分离超平面经过原点），以及 (ii) 参数 $\eta$ 严格小于 $1/2$。在本工作之前，当移除这两个假设中的任意一个时，均不知任何非平凡界。我们研究一般问题并建立如下结果：对于 $\eta <1/2$，我们给出一般半空间的学习算法，其样本与计算复杂度为 $d^{O_{\eta}(\log(1/\gamma))}\mathrm{poly}(1/\epsilon)$，其中 $\gamma =\max\{\epsilon, \min\{\mathbf{Pr}[f(\mathbf{x}) = 1], \mathbf{Pr}[f(\mathbf{x}) = -1]\} \}$ 是目标半空间 $f$ 的偏置。此前的有效算法只能处理 $\gamma = 1/2$ 的特殊情况。有趣的是，我们建立了对任何统计查询（SQ）算法复杂度的定性匹配下界 $d^{\Omega(\log(1/\gamma))}$。对于 $\eta = 1/2$，我们给出一般半空间的学习算法，其样本与计算复杂度为 $O_\epsilon(1) d^{O(\log(1/\epsilon))}$。该结果即使对于齐次半空间子类也是新的；此前针对齐次 Massart 半空间的算法在 $\eta=1/2$ 时给出空泛保证。我们以近乎匹配的 SQ 下界 $d^{\Omega(\log(1/\epsilon))}$ 补充了我们的上界，该下界即使对齐次半空间的特殊情况也成立。