中文

打破回归中的维数灾难

统计方法学 2017-08-02 v1 信息论 math.IT 统计理论 机器学习 统计理论

摘要

具有许多信号的高维模型通常会对信号强度施加结构。常见的假设是只有少数信号很强,而大多数信号为零或(总体上)接近于零。然而,这种要求在许多实际应用中可能并不成立。在本文中,我们感兴趣的是在可能具有混合强度信号的模型中进行大规模推断。关键挑战在于,未被测试的信号可能总体上不可忽略(尽管单独很小)且无法被准确学习。本文开发了一类源于矩匹配公式的新检验。这些矩匹配统计量的优点在于能够跨特征借用强度,适应稀疏度大小,并对不断增长的假设检验数量进行调整。参数组级推断(GRoup-level Inference of Parameter, GRIP)检验利用假设公式提取有效的稀疏结构,以实现高效的多重检验程序。模拟数据表明,GRIP 的误差控制远优于其他替代方法。我们发展了极小化极大理论,证明了 GRIP 在广泛模型范围内的最优性,包括模型为稀疏信号和高维稠密信号混合的情况。

关键词

引用

@article{arxiv.1708.00430,
  title  = {Breaking the curse of dimensionality in regression},
  author = {Yinchu Zhu and Jelena Bradic},
  journal= {arXiv preprint arXiv:1708.00430},
  year   = {2017}
}

备注

51 pages