基于软间隔的半空间不可知学习与梯度下降

我们分析了在线性半空间不可知学习中，针对零一损失的凸代理损失上使用梯度下降的性质。若 $\mathsf{OPT}$ 是某个半空间所能达到的最佳分类错误率，借助软间隔的概念，我们能够证明：对于包含对数凹各向同性分布作为子类的广泛分布类，梯度下降可在 $\mathrm{poly}(d,1/\varepsilon)$ 的时间和样本复杂度内找到分类错误率为 $\tilde O(\mathsf{OPT}^{1/2}) + \varepsilon$ 的半空间。在此过程中，我们回答了 Ji 等人（2020）最近提出的一个问题，即损失函数的尾部行为如何影响梯度下降的样本复杂度和运行时间保证。