基于二阶 Poincaré 不等式的高斯神经网络非渐近逼近

关于深度高斯神经网络（NN，即权重初始化为高斯分布的 NN）的大宽度渐近与非渐近性质的文献近期不断增长。对于深度 $L\geq1$、宽度 $n\geq1$ 的高斯 NN，众所周知当 $n\rightarrow+\infty$ 时，NN 的输出（依分布）收敛于高斯过程。近期已获得该结果的一些定量版本，亦称定量中心极限定理（QCLT），表明在 $2$-Wasserstein 距离下收敛速率为 $n^{-1}$，且该速率最优。本文研究使用二阶 Poincaré 不等式作为建立 NN 输出 QCLT 的替代方法。以往方法通过对 NN 的细致分析，将非平凡概率工具与依赖网络递归定义（通常借助层间归纳论证）的特设技术结合，尚不清楚其是否及如何适用于其他 NN 架构。相反，二阶 Poincaré 不等式的使用仅依赖 NN 为高斯过程泛函这一事实，将建立 QCLT 的问题化简为计算 NN 输出梯度与 Hessian 的代数问题，仍适用于其他 NN 架构。我们展示了该方法在建立 NN 输出 QCLT 上的有效性，尽管其导致次优收敛速率。我们认为此种速率恶化是二阶 Poincaré 不等式特有的，应被理解为获得直接且通用的 QCLT 流程所付出的“代价”。