关于稀疏函数的统计查询与梯度查询学习复杂度

本文旨在探讨学习稀疏函数（juntas）时梯度算法的复杂度。我们引入一种类型的统计查询（$\mathsf{SQ}$），称为可微学习查询（$\mathsf{DLQ}$），以建模对任意模型的指定损失函数的梯度查询。我们对 $\mathsf{DLQ}$ 在给定概率分布上的稀疏函数支持学习的查询复杂度提供了紧密刻画。该复杂度在损失函数上起关键作用。对于平方损失，$\mathsf{DLQ}$ 匹配 $\mathsf{CSQ}$（相关统计查询）的复杂度——可能远差于 $\mathsf{SQ}$。但对于其他简单损失函数，包括 $\ell_1$ 损失，$\mathsf{DLQ}$ 始终实现与 $\mathsf{SQ}$ 相同的复杂度。我们还提供证据表明 $\mathsf{DLQ}$ 能够捕捉（随机）梯度下降的学习，证明其在均值场范式和线性比例下对两层神经网络的学习复杂度描述正确。