带Massart噪声半空间学习的近最优统计查询困难性

我们研究带Massart噪声的PAC半空间学习问题。给定来自分布$D$在$\mathbb{R}^{d} \times \{ \pm 1\}$上的带标签样本$(x, y)$，其中样本上的边缘分布$D_x$是任意的，且样本$x$的标签$y$由目标半空间经Massart对抗者以翻转概率$\eta(x) \leq \eta \leq 1/2$腐蚀生成，目标是计算具有较小误分类误差的假设。该问题已知的$\mathrm{poly}(d, 1/\epsilon)$时间算法达到$\eta+\epsilon$的误差，这可能远差于最优界$\mathrm{OPT}+\epsilon$，其中$\mathrm{OPT} = \mathbf{E}_{x \sim D_x} [\eta(x)]$。虽然已知达到$\mathrm{OPT}+o(1)$误差在统计查询模型中需要超多项式时间，但已知上下界之间仍存在巨大差距。本工作中，我们基本刻画了Massart半空间在统计查询（SQ）模型中的高效可学习性。具体而言，我们证明对于在$\mathbb{R}^d$上学习Massart半空间，任何高效SQ算法都无法达到优于$\Omega(\eta)$的误差，即使$\mathrm{OPT} = 2^{-\log^{c} (d)}$，对任意通用常数$c \in (0, 1)$。此外，当噪声上界$\eta$接近$1/2$时，我们的误差下界变为$\eta - o_{\eta}(1)$，其中$o_{\eta}(1)$项在$\eta$趋于$1/2$时趋于$0$。我们的结果有力表明已知的Massart半空间学习算法已近乎最优，从而解决了一个学习理论中长期存在的开放问题。