基于Kronecker草图的快速图神经切线核

许多深度学习任务需要处理图（例如蛋白质结构、社交网络、源代码抽象语法树）。由于这些任务的重要性，人们将图神经网络（GNNs）作为图上学习的事实标准方法。GNNs因其令人信服的性能而得到广泛应用。不幸的是，使用GNNs的一个主要障碍是GNNs需要大量时间和资源进行训练。最近，一种图上学习的新方法是图神经切线核（GNTK）[Du, Hou, Salakhutdinov, Poczos, Wang and Xu 19]。GNTK是神经切线核（NTK）[Jacot, Gabriel and Hongler 18]（一种核方法）在图数据上的应用，且求解NTK回归等价于使用梯度下降训练无限宽神经网络。使用GNTK的关键好处是，与任何核方法类似，GNTK的参数可以在单步中直接求解。这可以避免耗时的梯度下降。同时，草图法在加速各类优化问题（包括求解核回归）中日益得到使用。给定n个图的核矩阵，在求解核回归中使用草图法可将运行时间降至$o(n^3)$。但不幸的是，此类方法通常需要事先对核矩阵有广泛了解，而在GNTK情况下我们发现核矩阵的构造本身已是$O(n^2N^4)$（假设每个图有N个节点）。当图的大小N增大时，核矩阵构造时间可能成为主要性能瓶颈。因此一个自然的问题是，我们能否加速核矩阵构造以改善GNTK回归的端到端运行时间。本文提供了首个以$o(n^2N^3)$运行时间构造核矩阵的算法。