理解图神经网络中的注意力与泛化
机器学习
2019-10-29 v3 人工智能
机器学习
摘要
我们旨在更好地理解图神经网络（GNNs）中节点上的注意力，并识别影响其有效性的因素。我们特别关注注意力 GNNs 泛化到更大、更复杂或含噪图的能力。受图同构网络相关工作的启发，我们设计了简单的图推理任务，以便在受控环境中研究注意力。我们发现，在典型条件下注意力的效果可忽略甚至有害，但在某些条件下它在我们部分分类任务中带来了超过 60% 的卓越性能提升。在实践中满足这些条件具有挑战性，且常需要注意力的最优初始化或有监督训练。我们提出了一种替代方案，以弱监督方式训练注意力，其性能接近有监督模型，并且相较于无监督模型，在多个合成及真实数据集上改善了结果。源代码与数据集可在 https://github.com/bknyaz/graph_attention_pool 获取。
引用
@article{arxiv.1905.02850,
title = {Understanding Attention and Generalization in Graph Neural Networks},
author = {Boris Knyazev and Graham W. Taylor and Mohamed R. Amer},
journal= {arXiv preprint arXiv:1905.02850},
year = {2019}
}
备注
NeurIPS 2019, camera-ready and supplementary material