中文

子采样岭集成:等价性与广义交叉验证

统计理论 2023-07-18 v2 机器学习 机器学习 统计理论

摘要

我们在比例渐近 regime 下研究基于子采样的岭集成,其中特征维度与样本量成比例增长,使得二者之比收敛于常数。通过分析岭集成的平方预测风险作为显式惩罚 λ\lambda 与极限子样本纵横比 ϕs\phi_s(特征维度与子样本量之比)的函数,我们刻画了在 (λ,ϕs)(\lambda, \phi_s) 平面上任意可达风险对应的等高线。由此,我们证明了最优全无岭集成(在所有可能子样本上拟合)的风险与最优岭预测器的风险相匹配。此外,我们证明了广义交叉验证(GCV)在子样本大小上估计岭集成预测风险的强一致均匀性。这使得无需样本分割即可基于 GCV 调优全无岭集成,并产生一个风险与最优岭风险相匹配的预测器。

关键词

引用

@article{arxiv.2304.13016,
  title  = {Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation},
  author = {Jin-Hong Du and Pratik Patil and Arun Kumar Kuchibhotla},
  journal= {arXiv preprint arXiv:2304.13016},
  year   = {2023}
}

备注

47 pages, 11 figures; this version fixes minor typos. arXiv admin note: text overlap with arXiv:2210.11445