高斯等价何时失效及其修复：二次标度下随机特征的非普适行为
统计理论
2025-12-04 v1 机器学习
机器学习
统计理论
摘要
现代高维统计中，针对通过经验风险最小化 (ERM) 在非线性特征嵌入上训练的线性预测器进行分析是一个重要方向。高斯等价理论 (GET) 已成为一种强大的普适性原则：它指出，高维复杂特征的行为可由高斯代理人捕获，而这些代理人更容易分析。尽管该理论取得了显著成功，但数值实验表明，即便是简单的嵌入（如多项式映射），在一般标度下，等价也会失效。我们研究了在随机特征 (RF) 模型中二次标度情形下的这种失效，即特征数量和样本量均随数据维度的平方增长。我们指出，当目标函数依赖于数据的低维投影时（如广义线性模型），GET 会给出错误的预测。为捕获正确的渐近行为，我们引入条件高斯等价 (CGE) 模型，可视为在本征高斯模型中附加一个低维非高斯分量的混合模型。该混合模型保留了高斯框架的可计算性，能够准确描述二次标度下 RF 模型的行为。我们推导了在该情形下训练误差和测试误差的尖锐渐近结果，这些结果即使在 GET 失效时也与数值仿真保持一致。我们的分析结合了关于维特克混沌展开的 CLT 一般结果和严谨的两阶段 Lindeberg 交换论证。除 RF 模型和二次标度外，我们的工作暗示了高维 ERM 中普适性现象的丰富景观。
引用
@article{arxiv.2512.03325,
title = {When does Gaussian equivalence fail and how to fix it: Non-universal behavior of random features with quadratic scaling},
author = {Garrett G. Wen and Hong Hu and Yue M. Lu and Zhou Fan and Theodor Misiakiewicz},
journal= {arXiv preprint arXiv:2512.03325},
year = {2025}
}