图注意力架构概览教程
机器学习
2022-06-08 v1 人工智能
计算与语言
摘要
图神经网络(GNNs)在图结构问题上展现出巨大的性能飞跃,尤其在自然语言处理、计算机视觉和推荐系统领域。受transformer架构成功的启发,关于GNN注意力变体的研究工作不断增长,试图推进诸多此类问题的最先进水平。将“注意力”引入图挖掘被视为克服图结构数据伴随的噪声、异构性和复杂性的一种方式,并可编码软归纳偏置。因此,从鸟瞰视角研究这些变体以评估其优劣至关重要且大有裨益。我们提供一份围绕基于注意力的GNN的系统化重点教程,希望能惠及处理图结构问题的研究者。我们的教程从注意力函数的视角审视GNN变体,并循序渐进地构建读者对不同图注意力变体的理解。
引用
@article{arxiv.2206.02849,
title = {A Bird's-Eye Tutorial of Graph Attention Architectures},
author = {Kaustubh D. Dhole and Carl Yang},
journal= {arXiv preprint arXiv:2206.02849},
year = {2022}
}
备注
8 pages Tutorial