超越高斯数据：基于准累积量可控数据模型的神经网络学习动力学

我们通过使用准累积量可控的非高斯数据模型来研究数据高阶统计特性对神经网络（NN）学习动力学的影响。考虑到两层神经网络的表达性，我们首先构建数据模型作为一个生成两层NN，其中激活函数通过使用赫姆齐多项式展开。这使我们能够通过赫姆齐系数实现对高阶累积量（如偏度和峰度）的可解释控制，同时保持数据模型的现实性。使用来自数据模型生成的样本，我们进行受控的在线学习实验。我们的结果揭示了训练中的准次序进展：网络首先捕获低阶统计特性，如均值和协方差，逐渐学习高阶累积量。最后，我们在Fashion-MNIST数据集上预训练生成模型，并利用生成样本进行进一步实验。这些额外实验的結果确认了我们的结论，同时显示该数据模型在实际场景中的实用性。总体而言，我们提出的方法将简化的数据假设与实际数据复杂度连接起来，为调查机器学习和信号处理中的分布效应提供了一个原则性框架。