面向一般激活函数的快速神经核嵌入

无限宽度极限通过建立神经网络与核方法之间的联系，为深度学习的泛化与优化问题提供了洞见。尽管这些核方法十分重要，但由于其（超）二次的运行时间和内存复杂度，在大规模学习场景中的实用性受到限制。此外，以往关于神经核的工作大多聚焦于 ReLU 激活函数，这主要因其流行，也因为难以针对一般激活函数计算此类核。本文中，我们克服了这些困难，给出了处理一般激活函数的方法。首先，我们汇编并扩充了可接受精确对偶激活表达式以计算神经核的激活函数列表。当精确计算未知时，我们提出有效近似这些方法的技术。我们提出了一种快速草图方法，可近似任意多层神经网络高斯过程（NNGP）核与神经切线核（NTK）矩阵，适用于广泛激活函数，超越了通常分析的 ReLU 激活。该方法通过展示如何利用任意期望激活函数的截断 Hermite 展开来近似神经核实现。以往多数工作要求数据点位于单位球面上，而我们的方法不受此类限制，可应用于 $\mathbb{R}^d$ 中任意点集的数据集。此外，我们为 NNGP 和 NTK 矩阵提供了子空间嵌入，具有近输入稀疏的运行时间和近最优目标维度，适用于任意具有快速收敛 Taylor 展开的\emph{齐次}对偶激活函数。在经验上，相对于精确的卷积 NTK（CNTK）计算，我们的方法在 CIFAR-10 数据集上对 5 层 Myrtle 网络的近似 CNTK 实现了 $106\times$ 加速。