线性规则消除高维 curse: 椭球上的最优预测器

本文关注以下问题: 为了防止统计学习界限随维度增加而恶化, 需要作何最小结构假设？我们在经典统计设置下研究此问题: 从 $n$ 个独立线性观测 $Y_i = X_i^\top\theta + \epsilon_i$ 中估计信号。我们的焦点是可表示为训练标签线性组合的预测器族 $f(X) = \sum_{i=1}^{n} l_i(X) Y_i$。此类预测器 — — 常称为线性预测规则 — — 包含众多流行的参数和非参数估计器, 包括岭回归、梯度下降和核方法。我们的贡献有二: 首先, 在 Bayes 预测器 $\theta$ 位于椭球内的假设下, 我们推导了该类预测器的 generalization 误差的非渐近上界和下界。其次, 我们在 Bayes 预测器固定的情形下, 建立了旋转不变线性预测规则子类的下界。我们的分析突显了风险的两个基本贡献: (a) 捕获数据内在维度的方差类项; (b) 在高维情形下出现的无噪声误差。这一发现阐明了结构性假设在缓解维度诅咒中的作用。