基于梯度下降的单神经元不可知学习

我们考虑如下问题：通过使用梯度下降最小化由一组 $i.i.d.$ 样本 $S\sim \mathcal{D}^n$ 导出的经验风险，学习以期望平方损失 $\mathbb{E}_{(x,y)\sim \mathcal{D}}[(\sigma(w^\top x)-y)^2]$ 衡量的最佳拟合单神经元，其中期望基于某个未知的联合分布 $\mathcal{D}$。激活函数 $\sigma$ 是任意的Lipschitz非递减函数，使得该优化问题通常是非凸且非光滑的，并涵盖了典型的神经网络激活函数以及广义线性模型设定中的逆链接函数。在不可知PAC学习设定中，即不对标签 $y$ 和输入 $x$ 之间的关系做任何假设，若最优总体风险为 $\mathsf{OPT}$，我们证明当 $\sigma$ 严格递增时，梯度下降在多项式时间和样本复杂度内达到总体风险 $O(\mathsf{OPT})+\epsilon$。对于ReLU激活，我们的总体风险保证为 $O(\mathsf{OPT}^{1/2})+\epsilon$。当标签形式为 $y = \sigma(v^\top x) + \xi$，其中 $\xi$ 为零均值次高斯噪声时，我们证明梯度下降的总体风险保证提升至 $\mathsf{OPT} + \epsilon$。我们的样本复杂度和运行时间保证（几乎）与维度无关，且当 $\sigma$ 严格递增时，除有界性外无需任何分布假设。对于ReLU，我们在输入边缘分布的非退化假设下展示了相同的结果。