单纯形注意力网络
机器学习
2022-04-21 v1 代数拓扑
摘要
图表示学习方法大多局限于对节点级交互的建模。近来，人们愈发关注如何利用高阶结构进一步增强图神经网络（GNNs）在组合空间中的学习能力。单纯形神经网络（SNNs）通过在单纯复形（图的高维推广）上执行消息传递，自然地对这些交互进行建模。然而，现有大多数 SNNs 的计算严格受限于复形的组合结构。借助注意力机制在结构化领域的成功，我们提出单纯形注意力网络（SAT），一种动态权衡相邻单纯形间交互并能轻松适应新结构的新型单纯形网络。此外，我们提出一种符号注意力机制，使 SAT 具有方向等变性，这是作用于（上）链复形的模型所期望的性质。我们证明，在图像与轨迹分类两个任务中，SAT 优于现有的卷积式 SNNs 与 GNNs。
引用
@article{arxiv.2204.09455,
title = {Simplicial Attention Networks},
author = {Christopher Wei Jin Goh and Cristian Bodnar and Pietro Liò},
journal= {arXiv preprint arXiv:2204.09455},
year = {2022}
}
备注
Accepted to the ICLR 2022 Workshop on Geometrical and Topological Representation Learning