部分正则化普通最小二乘插值器的代数与统计性质
统计理论
2024-11-12 v1 统计方法学
统计理论
摘要
现代深度学习揭示了一个令人惊讶的统计现象——良性过拟合，高维线性回归是其突出代表。本文对普通最小二乘（OLS）插值器的研究做出贡献，聚焦于部分回归设定，即仅有部分系数被隐式正则化。在代数方面，我们扩展了Cochran公式和部分正则化框架下的留一残差公式。在随机方面，我们利用代数结果设计了Gauss-Markov模型下的若干同方差方差估计量。这些估计量为开展统计推断提供了基础，尽管其性能存在轻微保守性。通过模拟，我们在各种生成模型下研究了这些方差估计量的有限样本性质。
引用
@article{arxiv.2411.06593,
title = {Algebraic and Statistical Properties of the Partially Regularized Ordinary Least Squares Interpolator},
author = {Letian Yang and Dennis Shen},
journal= {arXiv preprint arXiv:2411.06593},
year = {2024}
}