具有相关噪声的非稀疏高维线性回归的良性过拟合
统计理论
2023-10-23 v3 统计理论
摘要
我们研究在噪声与 Gaussian 协变量相关情况下的高维线性回归问题。这种相关性在回归模型中称为内生性，常由未观测变量及其他因素引起。它一直是因果推断与计量经济学中的主要挑战。当协变量为高维时，即便存在内生性，通常也假设真实参数具有稀疏性并使用正则化进行估计。然而，当稀疏性不成立时，同时控制内生性与高维性尚未被很好理解。本研究证明，在特定协方差矩阵假设下，无正则化估计量可达到一致性，即良性过拟合。具体而言，我们的结果表明当相关噪声与工具变量的协方差矩阵满足其特征值条件时，该估计量的误差收敛于零。我们考虑若干放宽这些条件的推广，并开展实验以支持我们的理论发现。作为技术贡献，我们在对偶问题中利用凸 Gaussian 极小极大定理（CGMT）并推广了 CGMT 本身。
引用
@article{arxiv.2304.04037,
title = {Benign Overfitting of Non-Sparse High-Dimensional Linear Regression with Correlated Noise},
author = {Toshiki Tsuda and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:2304.04037},
year = {2023}
}
备注
73 pages