过参数化带来的几何正则化

与特定损失值相关的权重集分布的体积，可能是过参数化带来隐式正则化的来源，这源于超球体所展示的几何图形随维度增加而体积收缩的现象。我们提出几何正则化猜想，并通过考虑沿训练路径可用的潜在权重集更新分布的内在维度缩小所产生的类似性质，来解释双下降现象：如果该分布在趋近全局最小值时跨越体积-维度曲线峰值而收缩，我们可以预期几何正则化会再次出现。我们阐明了数据保真度的表示复杂度如何影响模型容量双下降的插值阈值。源于不同几何形式的epoch和模型容量双下降曲线的存在，可能意味着具有维度调整后n球体体积对应关系的闭合n-流形具有普适性。