最小二乘早停的连续时间视角

我们研究应用于基础问题最小二乘回归的梯度下降所生成迭代的统计性质。我们采用连续时间视角，即考虑梯度下降中的无穷小步长，此时迭代形成称为梯度流的轨迹。我们的主要焦点是将梯度流的风险与岭回归的风险进行比较。在校准 $t=1/\lambda$（其中 $t$ 为梯度流中的时间参数，$\lambda$ 为岭回归的调谐参数）下，我们证明沿整条路径（对所有 $t \geq 0$）梯度流的风险不小于岭回归风险的 1.69 倍。这在有限样本中成立，且对数据模型假设极弱（特别地，对特征 $X$ 无任何假设）。我们证明在相同相对风险界下，对预测风险在底层信号 $\beta_0$ 上平均的意义也成立。最后，我们考察极限风险表达式（在标准 Marchenko-Pastur 渐近下），并给出支撑性的数值实验。