感知机理论可预测神经网络的准确率

多层神经网络为诸多技术分类问题确立了当前最优水平。但这些网络在分析并预测其性能方面本质上仍是黑箱。此处，我们为单层感知机发展了一种统计理论，并表明它能预测种类惊人庞大的不同架构神经网络的性能。通过推广用于分析储层计算模型及称为向量符号架构的符号推理连接主义模型的现有理论，发展了感知机分类的一般理论。我们的统计理论提供了三个利用信号统计且细节递增的公式。这些公式解析上难以处理，但可数值评估。捕获最大细节的描述层级需要随机采样方法。依网络模型不同，较简单公式已给出高预测精度。该理论预测质量在三种实验设定中评估：储层计算文献中回声状态网络(ESNs)的 memorization 任务、浅层随机连接网络的分类数据集集合，以及深度卷积神经网络的 ImageNet 数据集。我们发现感知机理论的第二描述层级可预测先前无法描述的 ESNs 类型。该理论通过应用于其输出层可预测深度多层神经网络。虽然其他神经网络性能预测方法通常需训练一个估计器模型，所提理论仅需输出神经元中突触后和分布的前两阶矩。感知机理论优于其他不依赖训练估计器模型的方法。