基于有限空间测度集中的数字计算机上更紧的学习保证

输入位于欧几里得空间 $\mathbb{R}^d$ 中的机器学习模型，在数字计算机上实现时能够泛化，且其泛化间隙关于样本量 $N$ 以 $c/N^{1/2}$ 的速率收敛到 $0$。然而，通过经典方法获得的常数 $c>0$ 在环境维度 $d$ 和机器精度方面可能很大，这在 $N$ 较小到实际规模时构成了挑战。在本文中，我们推导了一系列专为数字计算机上的学习模型定制的泛化界 $\{c_m/N^{1/(2\vee m)}\}_{m=1}^{\infty}$，这些界同时适应于样本量 $N$ 和离散学习问题所谓的几何表示维度 $m$。根据 $N$ 调整参数 $m$ 可为实际样本量 $N$ 带来显著更紧的泛化界，而将 $m$ 设小则能保持 $\mathcal{O}(1/N^{1/2})$ 的最优无维度最坏情况速率。值得注意的是，对于离散化欧几里得域上的学习模型，有 $c_{m}\in \mathcal{O}(m^{1/2})$。此外，我们的自适应泛化界是基于我们关于有限度量空间中测度集中的新非渐近结果制定的，该结果通过利用度量嵌入论证建立。