高维 GLM 回归中罚则诱导的无旋转收缩：腔体分析
统计理论
2023-06-21 v1 无序系统与神经网络
统计理论
摘要
在高维回归中，当协变量个数与观测个数同阶时，岭罚则常被用作抑制过拟合的补救措施。遗憾的是，对于相关协变量，此类正则化在广义线性模型中通常不仅引起估计参数向量的收缩，还会相对于真向量产生不期望的\emph{旋转}。我们解析地展示了如何通过岭罚则的推广来消除该问题，并利用腔体方法分析了相应估计量在高维情形下的渐近性质。我们的结果也为调节控制收缩量的参数提供了定量的依据。我们将理论预测与模拟数据进行比较，发现二者高度吻合。
引用
@article{arxiv.2209.04270,
title = {Penalization-induced shrinking without rotation in high dimensional GLM regression: a cavity analysis},
author = {Emanuele Massa and Marianne Jonker and Anthony Coolen},
journal= {arXiv preprint arXiv:2209.04270},
year = {2023}
}