正则化 M-估计量的导数与残差分布及其在自适应调参中的应用

Pierre C Bellec; Yiwei Shen

正则化 M-估计量的导数与残差分布及其在自适应调参中的应用

统计理论 2025-01-03 v2 机器学习统计理论

作者: Pierre C Bellec , Yiwei Shen

摘要

本文研究在具有高斯设计矩阵与任意噪声分布的线性模型中，采用梯度-Lipschitz 损失函数并施以凸惩罚正则化的 M-估计量。一个实际例子是由 Huber 损失与 Elastic-Net 惩罚构造的鲁棒 M-估计量，且噪声分布具有重尾。我们的主要贡献有三方面。（i）我们给出正则化 M-估计量 $\hat\beta(y,X)$ 导数的一般公式，其中微分同时针对 $y$ 与 $X$ 进行；这揭示了所有凸正则化 M-估计量共享的简单可微结构。（ii）利用这些导数，我们刻画了中间高维 regime 下残差 $r_i = y_i-x_i^\top\hat\beta$ 的分布，其中维度与样本量同阶。（iii）受残差分布启发，我们提出一种新颖的自适应准则以选择正则化 M-估计量的调谐参数。该准则将样本外误差近似至一个独立于估计量的加性常数，从而最小化该准则可为最小化样本外误差提供代理。所提自适应准则无需噪声分布或设计协方差的知识。模拟数据证实了理论发现，涉及残差分布以及该准则作为样本外误差代理的成功。最后，我们的结果揭示了 $\hat\beta(y,X)$ 的导数与 M-估计量有效自由度之间的新关系，这具有独立意义。

关键词

M-估计量凸正则化导数残差分布自适应调参高维 regime 有效自由度

引用

@article{arxiv.2107.05143,
  title  = {Derivatives and residual distribution of regularized M-estimators with application to adaptive tuning},
  author = {Pierre C Bellec and Yiwei Shen},
  journal= {arXiv preprint arXiv:2107.05143},
  year   = {2025}
}

正则化 M-估计量的导数与残差分布及其在自适应调参中的应用

摘要

关键词

引用

相关论文