近插值器：快速范数增长与插值和泛化之间的权衡

我们研究了近插值线性回归器的泛化能力：即训练误差 $\tau$ 为正但很小（即低于噪声底）的 $\boldsymbol{\beta}$。在关于数据分布的随机矩阵理论假设和数据协方差矩阵 $\boldsymbol{\Sigma}$ 的特征值衰减假设下，我们证明了任何近插值器都表现出快速的范数增长：对于固定的 $\tau$，$\boldsymbol{\beta}$ 的平方 $\ell_2$-范数满足 $\mathbb{E}[\|{\boldsymbol{\beta}}\|_{2}^{2}] = \Omega(n^{\alpha})$，其中 $n$ 是样本数量，$\alpha >1$ 是特征值衰减的指数，即 $\lambda_i(\boldsymbol{\Sigma}) \sim i^{-\alpha}$。这意味着现有的与数据无关的基于范数的界必然是宽松的。另一方面，在相同的机制下，我们精确刻画了插值与泛化之间的渐近权衡。我们的刻画揭示，较大的范数缩放指数 $\alpha$ 对应于插值与泛化之间更差的权衡。我们通过经验验证表明，类似的现象也存在于近插值的浅层神经网络中。