从层与神经正切核视角看图卷积网络
机器学习
2022-08-22 v1
摘要
图卷积网络是一类流行的深度神经网络算法，已在若干关系学习任务中取得成功。尽管成功，图卷积网络表现出若干奇特特征，包括偏向于学习过平滑与同配函数，由于这些算法的复杂性而难以诊断。我们提议通过研究层卷积网络——图卷积网络的拓扑推广——的神经正切核来弥补这一理解鸿沟。为此，我们推导了层卷积网络神经正切核的一种参数化，将函数分为两部分：一部分由图决定的前向扩散过程驱动，另一部分由节点激活对输出层的复合效应决定。这一几何导向的推导产生了若干即时洞见，我们对此作了详细讨论。
引用
@article{arxiv.2208.09309,
title = {Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel},
author = {Thomas Gebhart},
journal= {arXiv preprint arXiv:2208.09309},
year = {2022}
}
备注
Part of ICML 2022 Workshop on Topology, Algebra, and Geometry in Machine Learning