通过基数保持改进图神经网络中的注意力机制
机器学习
2020-07-28 v4 机器学习
摘要
图神经网络（GNNs）在学习图结构数据的表示方面功能强大。大多数GNN使用消息传递方案，其中节点的嵌入通过其邻居信息的迭代聚合来更新。为获得更好的节点影响表达能力，注意力机制已日益流行，用于在聚合中为节点分配可训练权重。尽管基于注意力的GNN在各种任务中取得了显著成果，但对其判别能力的清晰理解尚缺。在这项工作中，我们对采用注意力机制作为聚合器的GNN的表示特性进行了理论分析。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于基于注意力的聚合中忽略了基数信息。为改进基于注意力的GNN性能，我们提出了可应用于任意类型注意力机制的基数保持注意力（CPA）模型。我们在节点和图分类上的实验证实了理论分析，并展示了CPA模型的竞争性能。
引用
@article{arxiv.1907.02204,
title = {Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation},
author = {Shuo Zhang and Lei Xie},
journal= {arXiv preprint arXiv:1907.02204},
year = {2020}
}
备注
The short version of this paper has been accepted by IJCAI 2020