隐式正则化导致稀疏线性回归的良性过拟合

在深度学习中，训练过程常常找到一个插值器（训练损失为0的解），但测试损失仍然很低。这一现象被称为良性过拟合，是近年来备受关注的一大谜团。良性过拟合的一个常见机制是隐式正则化，即训练过程为插值器带来额外性质，通常表现为最小化某些范数。然而，即使对于简单的稀疏线性回归问题 $y = \beta^{*\top} x +\xi$（其中 $\beta^*$ 稀疏），最小 $\ell_1$ 或 $\ell_2$ 范数插值器都不能给出最优测试损失。在本工作中，我们给出模型的一种不同参数化方式，带来一种新的隐式正则化效应，结合了 $\ell_1$ 和 $\ell_2$ 插值器的优势。我们表明，通过梯度下降训练新模型可得到一个具有近最优测试损失的插值器。我们的结果基于对训练动力学的细致分析，并提供了超越范数最小化的隐式正则化效应的又一例证。