超参数化背景下集合的理论局限

经典集合在一般化方面优于任何单个组成模型。相比之下，近期实证研究发现，现代（超参数化）神经网络集合可能不会比单个更大神经网络提供任何固有的一般化优势。这篇论文阐明了现代超参数化集合如何不同于其经典欠参数化对手，基于超参数化随机特征（RF）回归器的集合以发展理论。相对于欠参数化场景，在后者中，集合通常导致正则化并增加一般化方面，我们用最小假设证明，无限超参数化 RF 回归器的集合在点上等效于（单个）无限宽度 RF 回归器，有限宽度集合快速收敛到与相同参数预算相同的单个模型。这些结果对 ridgeless 模型是精确的，对小 ridge 惩罚是近似的，意味着超参数化集合和单个大型模型几乎 exhibit 相同的一般化。我们进一步描述了集合成员之间的预测方差，表明它量化了增加容量的预期效果，而非捕捉任何传统意义上的不确定性。我们的结果挑战了关于在超参数化设置下集合优势的常见假设，促使我们重新考虑来自欠参数化集合的直觉如何传递到深度集合和超参数化背景。