多项式的超非奇异分解及其在鲁棒学习低度 PTF 中的应用

我们研究了在存在常数比例的对抗性破坏的情况下，低度多项式阈值函数（PTF）的高效可学习性。我们的主要算法结果是，在强污染模型下，针对高斯分布，该概念类具有多项式时间 PAC 学习算法，其误差保证为 $O_{d, c}(\text{opt}^{1-c})$（适用于任意所需常数 $c>0$），其中 $\text{opt}$ 是破坏比例。在强污染模型中，全知全能的对手可以任意破坏 $\text{opt}$ 比例的数据点及其标签。该模型推广了恶意噪声模型和对抗性标签噪声模型。在我们的工作之前，这种破坏模型（甚至更弱的对抗性标签噪声模型）中已知的多项式时间算法实现的误差为 $\tilde{O}_d(\text{opt}^{1/(d+1)})$，该误差会随着度 $d$ 的函数显著恶化。我们的算法采用了一种受局部化技术启发的迭代方法，该技术先前用于学习线性阈值函数的上下文中。具体而言，我们使用鲁棒感知器算法来计算一个良好的部分分类器，然后对未分类的点进行迭代。为了实现这一点，我们需要取一个由若干多项式不等式定义的集合，并将其划分为几个良态子集。为此，我们开发了新的多项式分解技术，这可能具有独立的意义。