对称分布上析取式的不可知学习

我们考虑在 $\{0,1\}^n$ 上的对称分布上逼近和学习析取式（或等价地，合取式）的问题。对称分布是指其概率密度函数 (PDF) 在变量的任意置换下保持不变的分布。我们给出了一个简单证明：对于每个对称分布 $\mathcal{D}$，存在一个包含 $n^{O(\log{(1/\epsilon)})}$ 个函数的集合 $\mathcal{S}$，使得对于每个析取式 $c$，都存在一个函数 $p$（可表示为 $\mathcal{S}$ 中函数的线性组合），使得 $p$ 在 $\mathcal{D}$ 上以 $\ell_1$ 距离 $\epsilon$-逼近 $c$，即 $\mathbf{E}_{x \sim \mathcal{D}}[ |c(x)-p(x)|] \leq \epsilon$。这直接给出了一个针对对称分布上析取式的不可知学习算法，其运行时间为 $n^{O( \log{(1/\epsilon)})}$。此前已知的最佳界限为 $n^{O(1/\epsilon^4)}$，源自对更一般的半空间类的逼近 (Wimmer, 2010)。我们还证明，存在一个对称分布 $\mathcal{D}$，使得在 $\mathcal{D}$ 上以 $\ell_1$ 距离 $1/3$-逼近所有 $n$ 个变量的析取式所需的多项式的最小次数为 $\Omega( \sqrt{n})$。因此，上述学习结果无法通过大多数其他不可知学习算法中使用的基于多项式基的 $\ell_1$-回归来实现。我们的技术还给出了一个简单证明：对于任何乘积分布 $\mathcal{D}$ 和每个析取式 $c$，都存在一个次数为 $O(\log{(1/\epsilon)})$ 的多项式 $p$，使得 $p$ 在 $\mathcal{D}$ 上以 $\ell_1$ 距离 $\epsilon$-逼近 $c$。这一结论最初由 Blais 等人 (2008) 通过更复杂的论证证明。