惩罚回归中的自由度：自适应惩罚下的模型选择
统计方法学
2026-04-06 v3 统计理论
统计理论
摘要
惩罚回归中的模型选择严重依赖对模型复杂性的准确评估，通常通过有效自由度进行量化。虽然Lasso允许使用由活跃集大小给出的简单且无偏 characterization，但这一属性并不适用于自适应惩罚方法，尽管这在实践中被广泛使用。为解决此问题，本文在Stein的无偏风险估计框架内推导了自适应Lasso有效自由度的新型无偏估计量。我们的分析揭示了由数据依赖惩罚引起的额外项，反映了自适应权重和正则化在决定模型复杂性中的作用。我们进一步重访Group Lasso，提供其自由度的另一种推导方法，并将这些结果扩展到自适应Group Lasso。重要的是，我们在一般设计矩阵下描述了沿正则化路径自由度的行为，提供了对这一行为的新型理论描述。通过纠正将活跃集大小用作自由度代理的常见误用，我们的结果实现了更可靠的风险估计和推断，为理解自适应惩罚回归中的模型复杂性提供了严谨的基础。
关键词
引用
@article{arxiv.2511.21595,
title = {Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties},
author = {Mauro Bernardi and Antonio Canale and Marco Stefanucci},
journal= {arXiv preprint arXiv:2511.21595},
year = {2026}
}