非线性尖峰协方差矩阵与深度神经网络中的信号传播

许多近期工作研究了由前馈神经网络非线性特征映射定义的共轭核 (CK) 的特征值谱。然而，现有结果仅建立了经验特征值分布的弱收敛，未能提供对通常捕捉学习问题低维信号结构的“尖峰”特征值和特征向量的精确定量表征。在本工作中，我们表征了尖峰协方差模型非线性版本（包括作为特例的 CK）的这些信号特征值和特征向量。利用这一通用结果，我们定量描述了输入数据中的尖峰特征结构如何通过具有随机权重的神经网络隐藏层传播。作为第二个应用，我们研究了一个简单的表示学习机制，其中权重矩阵在训练过程中发展出秩一信号分量，并表征了目标函数与测试数据上 CK 尖峰特征向量的对齐情况。