$\varphi$曲线：基于范数控制的泛化曲线形状

理解测试风险如何随模型复杂度扩展是机器学习中的核心问题。经典理论面临着大型过参数化深度网络所观察到的学习曲线的挑战。基于参数数量的容量度量通常无法解释这些经验观察。为应对这一挑战，我们考虑基于范数的容量度量，并为随机特征估计器构建研究——这些估计器常被用作更复杂网络的简化理论模型。在此背景下，我们对估计器范数的集中方式以及其如何主导相关测试误差提供了精确特征。我们的结果表明，预测的学习曲线在参数化不足与过参数化之间存在相位转变，但不存在双降行为。这一结果表明，考虑基于模型范数而非规模的适当容量度量可恢复更经典的U型行为。从技术角度看，我们利用确定性等价性作为关键工具，并进一步发展了新的确定性量，这些量本身也具有独立的兴趣。