具有通用激活函数的\emph{宽}隐藏层树状神经网络的精确容量

近期在研究\emph{树状委员会机器} (TCM) 神经网络 (NN) 方面的进展 \cite{Stojnictcmspnncaprdt23,Stojnictcmspnncapliftedrdt23,Stojnictcmspnncapdiffactrdt23} 表明，随机对偶理论 (RDT) 及其\emph{部分提升} (pl RDT) 变体是可用于非常精确的网络容量分析的强大工具。在这里，我们考虑\emph{宽}隐藏层网络，并发现 \cite{Stojnictcmspnncapdiffactrdt23} 中面临的某些数值困难方面奇迹般地消失了。特别是，我们采用最近开发的\emph{完全提升} (fl) RDT 来表征\emph{宽} ($d\rightarrow \infty$) TCM 网络的容量。我们为一类非常通用的隐藏层激活函数获得了显式的闭式容量表征。虽然所采用的方法显著减少了所需的数值评估量，但最终 fl RDT 的有用性和成功仍然需要相当一部分剩余的数值工作。为了获得具体的容量值，我们选取了四个非常著名的激活函数示例：\emph{\textbf{ReLU}}、\textbf{\emph{二次}}、\textbf{\emph{erf}} 和 \textbf{\emph{tanh}}。在成功完成所有这四个激活函数的剩余数值工作后，我们发现整个提升机制表现出 remarkably 快速的收敛性，相对改进不超过 $\sim 0.1\%$ 的情况已经在第 3 级提升时发生。作为一个方便的额外收获，我们还发现，在第一级和第二级提升上获得的容量表征，与 \cite{ZavPeh21} 中针对通用激活函数以及 \cite{BalMalZech19} 中针对 ReLU 激活函数通过统计物理复本理论方法获得的结果精确匹配。