单纯形注意力神经网络
机器学习
2022-03-29 v2 神经与进化计算
摘要
本工作的目的是引入单纯形注意力网络(SANs)，即利用掩码自注意力层在定义于单纯复形上的数据上运行的新型神经架构。基于拓扑信号处理的形式化论证，我们引入了一种恰当的自注意力机制，能够处理不同层（例如节点、边、三角形等）的数据分量，同时以完全面向任务的方式学习如何加权给定拓扑域的上邻域与下邻域。所提出的 SANs 推广了当前大多数用于处理定义于单纯复形上数据的架构。当应用于不同（归纳与直推）任务（如轨迹预测与引文复形中的缺失数据插补）时，所提方法优于其他方法。
引用
@article{arxiv.2203.07485,
title = {Simplicial Attention Neural Networks},
author = {L. Giusti and C. Battiloro and P. Di Lorenzo and S. Sardellitti and S. Barbarossa},
journal= {arXiv preprint arXiv:2203.07485},
year = {2022}
}
备注
In V2, we change the title in Simplicial Attention Neural Networks, since we discovered the paper 1 that shares the same title of V1 and was available on OpenReview a few days before our first submission. In V2, we cite 1, clarifying the several differences with our method and adding extensive numerical comparisons. 1 Christopher W. et al., Simplicial attention networks. Avbl on OpenReview