有效自由度：一个有缺陷的隐喻
其他统计学
2017-01-06 v3 统计方法学
摘要
对大多数应用统计学家而言，拟合过程的自由度与其模型复杂度或其对数据的过拟合能力是同义词。特别是，它常被用于参数化模型选择中的偏差 - 方差权衡。我们认为，与普遍直觉相反，模型复杂度与自由度并非同义词，且可能对应得非常差。我们展示并从理论上探讨了各种拟合过程的例子，在这些例子中，自由度并不随模型复杂度参数单调变化，甚至可能超过响应空间的总维度。即使在非常简单的设置中，自由度也可能任意大地超过环境空间的维度。我们证明了任何非凸投影方法的自由度都可能是无界的。
引用
@article{arxiv.1312.7851,
title = {Effective Degrees of Freedom: A Flawed Metaphor},
author = {Lucas Janson and William Fithian and Trevor Hastie},
journal= {arXiv preprint arXiv:1312.7851},
year = {2017}
}