面向多关系图的层次注意力模型
机器学习
2024-04-16 v1
摘要
我们提出了双层基于注意力的关系图卷积网络（BR-GCN），这是一种独特的神经网络架构，利用带掩码的自注意力层与关系图卷积，以有效处理高度多关系数据。BR-GCN模型使用双层注意力通过(1)节点级注意力和(2)关系级注意力来学习节点嵌入。节点级自注意力层利用关系内图交互，在稀疏子图区域中通过对邻域特征的加权聚合来学习特定关系的节点嵌入。关系级自注意力层利用关系间图交互，通过对特定关系的节点嵌入进行加权聚合来学习最终的节点嵌入。BR-GCN双层注意力机制将自然语言处理(NLP)领域中基于Transformer的乘性注意力以及基于图注意力网络(GAT)的注意力扩展到了大规模异构图(HGs)。在节点分类任务中，作为独立模型，BR-GCN比基线提升了0.29%至14.95%；在链路预测任务中，作为自编码器模型，BR-GCN比基线提升了0.02%至7.40%。我们还进行了消融研究以评估BR-GCN关系级注意力的质量，并讨论了其学到的图结构如何迁移以丰富其他图神经网络(GNNs)。通过各种实验，我们表明与最先进的GNNs相比，BR-GCN的注意力机制在可扩展性和学习有效性上均更具优势。
引用
@article{arxiv.2404.09365,
title = {Hierarchical Attention Models for Multi-Relational Graphs},
author = {Roshni G. Iyer and Wei Wang and Yizhou Sun},
journal= {arXiv preprint arXiv:2404.09365},
year = {2024}
}