从仅数据统计量预测核回归学习曲线

我们研究在包括 CIFAR-5m、SVHN 和 ImageNet 在内的真实数据集上使用常见旋转不变核函数的核回归问题。我们提出了从仅两个测量值（经验数据协方差矩阵和目标函数 $f_*$ 的经验多项式分解）预测学习曲线（测试风险随样本量）的理论框架。关键新思想是对核函数关于各向异性数据分布的特征值和特征函数的解析近似。该近似将特征函数类比为数据上的 Hermite 多项式，我们将其称为 Hermite 特征结构假设（Hermite Eigenstructure Ansatz, HEA）。我们证明了 HEA 适用于高斯数据，但发现实际图像数据常常“足够高斯”，使得 HEA 在实际中效果良好，从而能够通过先验结果（关联核特征结构与测试风险）来预测学习曲线。超越核回归，我们经验性地发现，在特征学习范式下，多层感知机（MLP）会按 HEA 所预测的顺序学习 Hermite 多项式。我们的 HEA 框架是一种概念证明，表明对于真实数据集上的非平凡学习算法，存在一种从数据结构映射到模型性能的端到端学习理论是可能的。