基于代理随机设计的双下降与隐式正则化的精确表达式

双下降是指未正则化学习模型在改变参数数量与训练样本数量之比时所展现的泛化误差的相变现象。深度神经网络等高度过参数化机器学习模型近期的成功，激发了对经典模型（如线性回归，其在过参数化 regime 下也能良好泛化）中双下降现象的理论分析。我们给出了最小范数线性估计量双下降的首个精确非渐近表达式。我们的方法涉及构造一种特殊的行列式点过程，我们称之为代理随机设计，以替代训练样本的标准独立同分布设计。该代理设计在保留标准设计关键性质的同时，承认估计量均方误差的精确表达式。我们还建立了针对过参数化训练样本的精确隐式正则化结果。特别地，我们证明对于代理设计，未正则化最小范数估计量的隐式偏置精确对应于在总体分布上求解岭正则化最小二乘问题。在我们的分析中，我们引入了一种具有独立意义的新数学工具：期望与行列式可交换的随机矩阵类。