各向同性核在简单不变量上的表现
机器学习
2020-12-16 v5 无序系统与神经网络
机器学习
摘要
我们研究了在若干设定下各向同性核方法的训练曲线如何依赖于待学习任务对称性。 (i) 考虑回归任务，其中目标函数为仅依赖于d_∥个变量（少于输入维度d）的高斯随机场。我们计算期望测试误差ε，其满足ε∼p^{-β}，其中p为训练集大小。我们发现β∼1/d且与d_∥无关，支持了先前关于不变量的存在不能解决核回归维度灾难的结论。 (ii) 接着考虑支持向量二分类，并引入条纹模型，其中数据标签依赖于单一坐标y(x)=y(x_1)，对应于分隔不同符号标签的平行决策边界，并假定这些界面处无间隔。我们论证并在数值上确认：对于大带宽，β = (d-1+ξ)/(3d-3+ξ)，其中ξ∈(0,2)为核在原点处奇异性的特征指数。该估计改进了由Rademacher复杂度可得的经典界。此设定下无维度灾难，因为当d→∞时β→1/3。 (iii) 我们在球面模型y(x)=y(|x|)下确认了这些发现。 (iv) 在条纹模型中，我们表明若数据沿其不变量被某因子λ压缩（一种被认为在深度网络中发生的操作），测试误差将减少因子λ^{-2(d-1)/(3d-3+ξ)}。
引用
@article{arxiv.2006.09754,
title = {How isotropic kernels perform on simple invariants},
author = {Jonas Paccolat and Stefano Spigler and Matthieu Wyart},
journal= {arXiv preprint arXiv:2006.09754},
year = {2020}
}