协方差感知机的容量
无序系统与神经网络
2020-08-18 v2 统计力学
机器学习
摘要
经典感知机是一种简单的神经网络，通过静态输入与输出之间的线性映射并施加阈值来执行二分类。对于小输入，处于稳态的神经网络也执行有效的线性输入输出变换，但针对的是整个时间序列。选择时间序列的时间均值作为分类特征时，网络经后续阈值的线性变换等价于经典感知机。本文表明，选择时间序列的协方差作为分类特征可将神经网络映射为我们所称的“协方差感知机”；一种在权重上双线性的协方差间映射。通过将 Gardner 连接理论推广到这一双线性问题，并利用副本对称平均场理论，我们计算了无限尺寸极限下协方差感知机的模式容量与信息容量。闭式表达式显示，在高维输入和低维输出的二分类任务中，其模式容量优于经典感知机。对于收敛性较弱的网络，平均感知机可分类更多刺激。然而，由于协方差比均值跨越更大的输入输出空间，协方差感知机中存储的信息量超过了经典对应物。对于强收敛连接，其优越性可达输入神经元数目倍。理论计算通过使用基于梯度的软间隔优化以及针对 NP 难二次约束二次规划问题（训练可映射于此）的数值求解器，在有限尺寸系统上得到了数值验证。
引用
@article{arxiv.1912.00824,
title = {Capacity of the covariance perceptron},
author = {David Dahmen and Matthieu Gilson and Moritz Helias},
journal= {arXiv preprint arXiv:1912.00824},
year = {2020}
}