具有平滑激活函数的两层神经网络的记忆容量

确定具有 $m$ 个隐藏神经元和输入维度 $d$（即总计 $md+2m$ 个可训练参数）的两层神经网络的记忆容量（即网络能够记忆的一般数据的最大规模）是一个基础的机器学习问题。对于在某点实解析且若限制为多项式则具有足够高次数的激活函数，我们建立了 $\lfloor md/2\rfloor$ 的下界，并且最优性在约 $2$ 的因子范围内。所有实用的激活函数，如 sigmoid、Heaviside 和修正线性单元（ReLU），都在某点实解析。此外，次数条件很温和，例如若激活函数为 $x^k$，则要求 $\binom{k+d-1}{d-1}\ge n$。先前的类似结果仅限于 Heaviside 和 ReLU 激活函数——我们的结果几乎涵盖了其他所有情况。为了分析一般激活函数，我们推导了网络雅可比矩阵精确的通用秩，其可用阿达马幂与 Khatri-Rao 积表示。我们的分析扩展了关于阿达马幂秩的经典线性代数事实。总体而言，我们的方法不同于先前关于记忆容量的工作，并有望推广到更深模型与其他架构。