Massart 噪声下半空间的分布无关 PAC 学习

我们研究了在存在 Massart 噪声情况下的{\em 分布无关}半空间 PAC 学习问题。具体而言，我们给定一组带标签样本 $(\mathbf{x}, y)$，其抽取自 $\mathbb{R}^{d+1}$ 上的分布 $\mathcal{D}$，使得无标签点 $\mathbf{x}$ 的边缘分布是任意的，且标签 $y$ 由一个未知半空间在噪声率 $\eta<1/2$ 下经 Massart 噪声腐蚀而生成。目标是找到假设 $h$ 以最小化误分类误差 $\mathbf{Pr}_{(\mathbf{x}, y) \sim \mathcal{D}} \left[ h(\mathbf{x}) \neq y \right]$。我们给出该问题的一个 $\mathrm{poly}\left(d, 1/\epsilon \right)$ 时间算法，其误分类误差为 $\eta+\epsilon$。我们也提供证据表明改进我们算法的误差保证可能在计算上是困难的。在我们工作之前，此模型中甚至对析取类都不知道有效的弱（分布无关）学习器。对此类半空间（甚至析取）算法的存在性，自 Sloan (1988)、Cohen (1997) 起已在多项工作中作为开放问题提出，并在 Avrim Blum 的 FOCS 2003 教程中被最近强调。