如何找到你的友好邻居:基于自监督的图注意力设计
机器学习
2022-04-12 v1 人工智能
社会与信息网络
机器学习
摘要
图神经网络中的注意力机制旨在为重要邻居节点分配更大权重以获得更好的表示。然而,图注意力所学到的内容尚不被充分理解,尤其在图含有噪声时。在本文中,我们提出一种自监督图注意力网络(SuperGAT),一种针对噪声图的改进图注意力模型。具体而言,我们利用两种与自监督边预测任务兼容的注意力形式,边的存在与缺失包含了节点间关系重要性的固有信息。通过编码边,SuperGAT 学习到更具表达力的注意力以区分错误链接的邻居。我们发现两种图特性影响注意力形式与自监督的有效性:同配性与平均度。因此,我们的方案在已知这两种图特性时,为应使用哪种注意力设计提供了指导。我们在 17 个真实世界数据集上的实验表明,我们的方案在其中 15 个数据集上可泛化,且按方案设计的模型相较基线展现出改进的性能。
引用
@article{arxiv.2204.04879,
title = {How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision},
author = {Dongkwan Kim and Alice Oh},
journal= {arXiv preprint arXiv:2204.04879},
year = {2022}
}
备注
ICLR 2021