广义单纯形注意力神经网络
机器学习
2024-10-16 v2 人工智能
代数拓扑
摘要
图机器学习方法擅长利用数据中存在的成对关系。然而，图无法充分捕捉许多复杂系统中固有的多路交互。一种有效的纳入方式是将其建模于高阶组合拓扑空间上，例如单纯复形（SCs）或胞腔复形。为此，我们引入了广义单纯形注意力神经网络（GSANs），这是一种新颖的神经网络架构，旨在使用掩码自注意力层处理存在于单纯复形上的数据。基于拓扑信号处理原理，我们设计了一系列有原则的自注意力机制，能够处理与不同阶单纯形（如节点、边、三角形及更高阶）相关联的数据。这些方案以面向任务的方式，借助单纯形狄拉克算子及其狄拉克分解，学习如何组合相邻连续阶单纯形的关联数据。我们还证明了 GSAN 满足两个基本性质：置换等变性与单纯形感知性。最后，我们展示了在轨迹预测、缺失数据插补、图分类和单纯形预测等多个（归纳式与直推式）任务上，我们的方法优于其他单纯形与图模型。
引用
@article{arxiv.2309.02138,
title = {Generalized Simplicial Attention Neural Networks},
author = {Claudio Battiloro and Lucia Testa and Lorenzo Giusti and Stefania Sardellitti and Paolo Di Lorenzo and Sergio Barbarossa},
journal= {arXiv preprint arXiv:2309.02138},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2203.07485 (preliminary version of this paper). 16 pages, accepted for publication at IEEE TSIPN