随机特征集成中无免费午餐：标度律与近最优条件

给定总模型规模的固定预算，必须在训练单个大型模型与组合多个较小模型的预测之间做出选择。我们研究了随机特征岭回归集成在过参数化和欠参数化两种区间中的这一权衡。利用确定性等价风险估计，我们证明了当固定数量的参数被分配给$K$个独立训练的模型时，岭优化测试风险随$K$增加。因此，单个大型模型实现了最优性能。然后我们询问集成何时可以实现近最优性能。在过参数化区间中，我们证明在主导阶上，测试误差仅通过总特征数依赖于集成规模和模型规模，因此过参数化集成始终实现近最优性能。为了理解欠参数化集成，我们推导了测试风险作为总参数数的函数标度律，其中集成规模和每个集成成员的参数按照"增长指数"$\ell$联合缩放。虽然最优误差标度始终通过固定集成规模增大模型规模来实现，但我们的分析识别了核和任务本征结构中的条件，在这些条件下可以通过集成规模和模型规模的联合缩放获得近最优标度律。