自由度与模型搜索

自由度是统计建模中的一个基本概念，因为它对给定过程所执行的拟合量提供了定量描述。但是，尽管自由度在统计学中具有这一基础作用，其行为即使在某些相当基本的设定中也尚未被完全理解。例如，直观上似乎显而易见的是，子集大小为 $k$ 的最佳子集选择拟合具有大于 $k$ 的自由度，但这尚未得到正式验证，也未被精确研究。本文在很大程度上由这一特定问题所驱动，我们在受限设定（正交预测变量）下推导出了最佳子集选择自由度的精确表达式。在此过程中，我们发展了一个名为“搜索自由度”的概念；直观而言，对于执行变量选择的自适应回归过程，这是我们将完全归因于模型选择机制的那部分（总）自由度。最后，我们建立了 Stein 公式的一个适度扩展以涵盖不连续函数，并讨论了其在自由度和搜索自由度计算中的潜在作用。