泛化能力的有限样本与渐近分析及其在惩罚回归中的应用

本文从泛化能力（GA）的角度研究极值估计量的性能：GA 是指模型在同一总体的新样本中预测结果的能力。通过调整经典集中不等式，我们推导出了样本外预测经验误差的上界，该上界是样本内误差、样本内数据规模、误差分布尾部厚度以及模型复杂度的函数。我们表明，误差界限可用于调整关键估计超参数，例如交叉验证中的折数 $K$。我们还展示了 $K$ 如何影响交叉验证的偏差-方差权衡。我们证明，惩罚回归与相应的无惩罚回归估计量之间的 $\mathcal{L}_2$ 范数差异可以直接由估计量的 GA 和经验矩条件的 GA 来解释。最后，我们证明所有惩罚回归估计量在 $n \geqslant p$ 和 $n < p$ 情况下都是 $L_2$ 一致的。通过仿真演示了关键结果。关键词：泛化能力，泛化误差上界，惩罚回归，交叉验证，偏差-方差权衡，惩罚与无惩罚回归之间的 $\mathcal{L}_2$ 差异，lasso，高维数据。