共轭核的特征谱暴涌与二次等价：面向非线性可分离数据的解析

随机矩阵理论 (RMT) 的近期工作发展出确定性等价概念：通常是线性代理模型，用于近似大型非线性随机矩阵的谱行为，如神经网络中的非线性特征图。一方面，这些确定性等价通过将复杂模型简化为具有落入经典 RMT 工具范畴的属性的更简单模型，使理论预测变得可处理。然而，这留下了一个问题：当处理高维非线性可分离数据（如对非线性可分离数据进行分类）时，这种理想化的线性等价是否仍具意义。为此，我们考虑共轭核 (CK)，即前馈神经网络的非线性特征映射，作用于标准非线性可分离数据集——XOR 问题；并通过研究 CK 中信息异常特征值是否存在，以及其对应的特征向量是否在渐近意义上与 XOR 标签对齐（用作非线性可学习性的代理）。我们构建了一种稳健的二次等价模型，用于分析共轭 CK 矩阵中新兴信息性尖峰的出现情况，包括样本复杂度、信噪比 (SNR)、非线性激活函数选择以及预训练特征等常见 ML 实践中的各种参数。在每种情形下，我们推导出精确的 BBP 类型相位转变，使得通过 CK 特征向量进行线性分类成为可能。我们的分析有助于将确定性等价工具在 RMT 中的力量转化为 ML 中实际问题的研究。