双层级注意力图神经网络
机器学习
2023-04-25 v1 信息检索
摘要
近年来带有注意力机制的图神经网络（GNNs）一直局限于小规模同构图（HoGs）。然而，处理包含多种实体与关系类型的异构图（HeGs）的 GNNs 在注意力处理上均存在不足。大多数学习 HeG 图注意力的 GNNs 仅学习节点级或关系级注意力，而非二者兼顾，限制了其同时预测 HeG 中重要实体与关系的能力。即便是现有能同时学习两级注意力的最佳方法，也存在假设图关系相互独立、且所学注意力忽略该依赖关联的局限。为有效建模多关系、多实体的大规模 HeGs，我们提出双层级注意力图神经网络（BA-GNN），一种采用新颖双层级图注意力机制的可扩展神经网络（NNs）。BA-GNN 以个性化方式对节点-节点与关系-关系交互进行建模，通过从局部邻域上下文（而非全局图上下文）分层关注这两类信息实现。在七个真实世界 HeGs 上的严谨实验表明，BA-GNN 持续优于所有基线，并证明了其所学关系级注意力的质量及可迁移性，可提升其他 GNNs 的性能。
引用
@article{arxiv.2304.11533,
title = {Bi-Level Attention Graph Neural Networks},
author = {Roshni G. Iyer and Wei Wang and Yizhou Sun},
journal= {arXiv preprint arXiv:2304.11533},
year = {2023}
}