单神经元在 Massart 噪声下学习的统计查询下界

我们研究在 Massart 噪声存在下 PAC 学习单个神经元的问题。具体而言，对于已知激活函数 $f: \mathbb{R} \to \mathbb{R}$，学习者可访问带标签样本 $(\mathbf{x}, y) \in \mathbb{R}^d \times \mathbb{R}$，其中 $\mathbf{x}$ 的边缘分布任意，相应标签 $y$ 为 $f(\langle \mathbf{w}, \mathbf{x} \rangle)$ 的 Massart 损坏。学习者的目标是输出假设 $h: \mathbb{R}^d \to \mathbb{R}$ 使其平方损失较小。对于包括 ReLUs 在内的一系列激活函数，我们建立了该学习问题的超多项式统计查询(SQ)下界。更详细地，我们证明任何高效 SQ 算法都无法在任意常数因子内逼近最优误差。我们的主要技术贡献是一个新颖的 SQ 困难构造，用于在布尔超立方体上学习 $\{ \pm 1\}$-权值 Massart 半空间，其本身即具独立意义。