普通最小二乘插值器的代数与统计性质
统计理论
2024-05-31 v2 机器学习
统计方法学
统计理论
摘要
深度学习研究揭示了过度参数化统计模型中良性过拟合的现象，近年来引起了显著的理论关注。鉴于其简洁性与实用性，普通最小二乘（OLS）插值器已成为获得该现象基础性洞见的关键。尽管 OLS 的性质在经典欠参数化设定下已确立，但其在高维、过参数化机制下的行为较少被探索（不同于岭回归或 lasso 回归），尽管近期已取得重大进展。我们通过为最小 -范数 OLS 插值器提供基础的代数与统计结果，对这片不断增长的文献作出贡献。具体而言，我们给出了过参数化机制下（i）留--外残差公式、（ii）Cochran 公式与（iii）Frisch-Waugh-Lovell 定理的代数等价形式。这些结果有助于理解 OLS 插值器的泛化能力，并对因果推断具有实质意义。在 Gauss-Markov 模型下，我们给出了统计结果，例如 Gauss-Markov 定理的推广，以及过参数化机制下同方差误差下的方差估计分析。为证实我们的理论贡献，我们进行了模拟以进一步探索 OLS 插值器的随机性质。
引用
@article{arxiv.2309.15769,
title = {Algebraic and Statistical Properties of the Ordinary Least Squares Interpolator},
author = {Dennis Shen and Dogyoon Song and Peng Ding and Jasjeet S. Sekhon},
journal= {arXiv preprint arXiv:2309.15769},
year = {2024}
}