中文

自由度:搜索代价与自一致性

统计方法学 2024-07-23 v2 统计计算

摘要

模型自由度(\df\df)是统计学中的基本概念,因为它量化了拟合过程的灵活性,并且在模型选择中不可或缺。为探究 \df\df 与拟合过程中独立变量个数之间的差距,\textcite{tibshiraniDegreesFreedomModel2015} 引入了\emph{搜索自由度}(\sdf\sdf)概念以计入模型选择期间的搜索代价。然而,该定义有两个局限:它未考虑增广空间中的拟合过程,且未对 \sdf\sdf\df\df 使用相同的拟合过程。我们提出\emph{修正搜索自由度}(\msdf\msdf)以直接计入在原始或增广空间中搜索的代价。我们针对多种拟合过程检验了该定义,包括经典线性回归、样条方法、自适应回归(最优子集与 lasso)、回归树以及多元自适应回归样条(MARS)。在许多 \sdf\sdf 适用的场景中,\msdf\msdf 退化为 \sdf\sdf。然而,对于如 lasso 的某些过程,\msdf\msdf 提供了关于搜索代价的新视角。对于如 MARS 的某些复杂过程,\df\df 在模型拟合期间已被预先确定,但最终拟合过程的 \df\df 可能与预先确定的不同。为研究此差异,我们引入\emph{名义} \df\df 与\emph{实际} \df\df 的概念,并定义\emph{自一致性}性质,即当这两个 \df\df 之间无差距时发生自一致性。我们提出一种针对 MARS 的修正过程以对齐这两个 \df\df,并通过大量模拟与两个真实数据应用展示了改进的拟合性能。

关键词

引用

@article{arxiv.2308.13630,
  title  = {Degrees of Freedom: Search Cost and Self-consistency},
  author = {Lijun Wang and Hongyu Zhao and Xiaodan Fan},
  journal= {arXiv preprint arXiv:2308.13630},
  year   = {2024}
}

备注

accepted by Journal of Computational and Graphical Statistics