在对数凸边缘分布下学习鲁棒的半空间

我们说，若在从输入分布中抽取的点 $x$ 附近的距离 $\le r$ 处没有被不同标签标记的点，那么该分类器对范数为 $r$ 的扰动是“对抗性鲁棒”的。边界体积是指落在距离标记标签不同点 $r$ 范围内的概率。本 work 研究了在输入分布为 $\mathbb{R}^d$ 上的亚高斯各向同性对数凸分布时，学习具有小边界体积的假设的计算效率任务。线性阈值函数是对抗性鲁棒的；它们的边界体积与 $r$ 成比例。多项式回归可高效学习此类概念类，产生多项式阈值函数 (PTF)，但 PTF 一般可能具有边界体积 $\Omega(1)$，即便 $r \ll 1$。我们给出一个算法，对线性阈值函数进行无偏学习并返回边界体积为 $O(r+\varepsilon)$ 的分类器，扰动半径为 $r$。算法的时间和样本复杂度为 $d^{\tilde{O}(1/\varepsilon^2)}$，与多项式回归的复杂度相同。我们的算法将经典的多项式回归方法augmented with three additional steps: a) 在噪声灵敏度约束下进行 $\ell_1$ 误差回归，b) 执行结构化分区和四舍五�步骤，该步骤返回误差为 $\textsf{opt} + O(\varepsilon)$ 且噪声灵敏度为 $O(r+\varepsilon)$ 的布尔分类器，c) 一个局部校正器将噪声灵敏度较低的函数“平滑”为对抗性鲁棒的函数。