拓扑神经网络：通过更高阶相互作用缓解图神经网络的瓶颈

自然现象的不可约复杂性导致图神经网络被采用作为在图结构数据上执行表示学习任务的标准模型。虽然其捕获局部和全局模式的能力令人瞩目，但与长程依赖和更高阶依赖相关的后果对此类模型构成严峻挑战。本工作从理论框架出发，揭示网络宽度、深度和图拓扑对消息传递神经网络中过度压扁现象的影响。随后，工作转向通过拓扑神经网络实现更高阶相互作用和多关系归纳偏置。此类模型通过更高维结构传递消息，为信息流提供捷径或额外路由。通过这种构建，底层计算图不再受制于输入图结构，从而在考虑更高阶相互作用的同时缓解了上述瓶颈。灵感来自图注意力网络，提出两种拓扑注意力网络：Simplicial 注意力网络和 Cell 注意力网络。这些架构的理念是利用 simplicial 或 cell 复合体中节点组的安排所提供的扩展邻域概念，以设计能够衡量来自域不同区域信息重要性的各向异性聚合。通过这种方式，它们捕获了常规图神经网络可能忽略的依赖关系。最后，引入一种多向通信方案，即 Enhanced Cellular Isomorphism Networks，它将拓扑消息传递方案扩展为启用环状结构节点组之间直接相互作用。