固定宽度树状神经网络容量分析——通用激活函数

我们考虑了\emph{树状委员会机器} (TCM) 神经网络的容量。依靠随机对偶理论 (RDT)，\cite{Stojnictcmspnncaprdt23} 最近引入了一个用于其容量分析的通用框架。随后在 \cite{Stojnictcmspnncapliftedrdt23} 中提出了基于所谓\emph{部分提升} RDT (pl RDT) 的升级版本。这两项工作都集中于具有最典型\emph{符号}激活函数的网络。另一方面，此处我们关注具有其他更通用类型激活函数的网络，并表明 \cite{Stojnictcmspnncaprdt23,Stojnictcmspnncapliftedrdt23} 的框架足够强大，能够处理此类场景。除了标准的\emph{线性}激活函数外，我们发现对于两种非常常用的激活函数，即\emph{二次}和\emph{整流线性单元 (ReLU)}，可以获得特别方便的结果。更具体地说，对于每种这些激活函数，我们获得了基于 RDT 和 pl RDT 的内存容量上界表征，适用于\emph{任意}给定（偶数）数量的隐藏层神经元 $d$。在此过程中，我们还揭示了以下两个相当显著的事实：1) 与普遍认知相反，两组结果均表明，当 $d$（隐藏层宽度）很大时，边界容量会减小并收敛到一个常数值；2) 最大边界容量是在恰好具有\textbf{\emph{两个}}隐藏层神经元的网络中实现的！此外，观察到 $d$ 很大时的收敛值与基于统计物理复本理论的预测非常吻合。