基于泛函梯度的统计查询下界

我们给出了针对高斯边缘分布（例如 ReLU、sigmoid、sign）不可知学习任意非多项式激活函数的首个统计查询（SQ）下界。对于 ReLU 回归（等价于不可知学习一个 ReLU）这一具体问题，我们证明任何容差为 $n^{-(1/\epsilon)^b}$ 的 SQ 算法必须使用至少 $2^{n^c} \epsilon$ 次查询，其中 $b, c > 0$ 为某些常数，$n$ 为维度，$\epsilon$ 为精度参数。我们的结果排除了通用（而非相关型）SQ 学习算法，这对于实值学习问题而言不同寻常。我们的技术涉及一个梯度提升过程，用于“放大”Diakonikolas 等人（COLT 2020）与 Goel 等人（ICML 2020）近期关于两层神经网络所计算函数的 SQ 维数的下界。关键的新要素是在提升过程中使用了一种非标准凸泛函。这也给出了两个常被研究的模型——不可知学习与概率概念——之间的最佳可能归约。