高维 Logistic 回归的普遍性及其依赖情形下的新型 CGMT及其在数据增强中的应用
统计理论
2025-09-10 v3 机器学习
统计理论
摘要
过去十年间，研究者一直刻画许多高维模型在比例 regime 下的确切渐近风险。两项基础性结果推动了这一进展：高斯普遍性定理，表明在非高斯与高斯数据上训练的估计器的渐近风险相等；以及凸型高斯 minmax 定理（CGMT），刻画了在高斯情形下的风险。然而，这些结果都依赖于数据由独立随机向量构成的假设——这一假设显著限制了其在许多实际场景中的适用性。在本文中，我们克服了这一限制，通过将两者推广到相关情形。更准确地说，我们证明了在块相关、m-相关及混合情形下的高维 Logistic 回归仍然满足高斯普遍性，并建立了一个容纳协方差 across 协变量和观测值的新型 CGMT 框架。借助这些结果，我们阐明了数据增强对渐近风险的影响。
关键词
引用
@article{arxiv.2502.15752,
title = {Universality of High-Dimensional Logistic Regression and a Novel CGMT under Dependence with Applications to Data Augmentation},
author = {Matthew Esmaili Mallory and Kevin Han Huang and Morgane Austern},
journal= {arXiv preprint arXiv:2502.15752},
year = {2025}
}