中文

高维回归设定下估计信号水平的零估计量方法

统计理论 2023-07-26 v2 统计理论

摘要

协变量个数大于样本量的高维数据分析是当前备受关注的话题。在此类设定中,一个重要目标是估计信号水平 τ2\tau^2 与噪声水平 σ2\sigma^2,即量化响应变量的变异中有多少可由协变量解释,又有多少未被解释。本文在半监督设定下考虑这些量的估计,其中许多观测仅给出协变量向量 XX 而无响应 YY。我们的主要研究问题是:如何利用无标签数据更好地估计 τ2\tau^2σ2\sigma^2?我们考虑两种框架:线性回模型与未假设线性的线性投影模型。在第一种框架中,虽使用线性回归,但对系数不作稀疏性假设。在第二种框架中,线性假设也被放宽,我们旨在估计由线性投影定义的信号与噪声水平。我们首先提出一种朴素估计量,在若干假设下于两种框架中均为无偏且一致。接着我们展示如何借助零估计量改进朴素估计量,其中零估计量是由无标签数据得出的、期望值为零的统计量。在第一种框架中,我们计算了最优零估计量改进并讨论逼近该最优改进的方法。在第二种框架中,此种最优性不再成立,我们提出两个虽未必最优但能改进朴素估计量的零估计量。此外,我们证明该方法对一般初始估计量可降低方差,并给出一种可能改进任意初始估计量的算法。最后,我们考虑四个数据集并研究所提方法的性能。

关键词

引用

@article{arxiv.2307.06739,
  title  = {A zero-estimator approach for estimating the signal level in a high-dimensional regression setting},
  author = {Ilan Livne},
  journal= {arXiv preprint arXiv:2307.06739},
  year   = {2023}
}

备注

arXiv admin note: text overlap with arXiv:2205.05341, arXiv:2102.07203