Graph-Bert：学习图表示仅需注意力机制
机器学习
2020-01-23 v2 神经与进化计算
机器学习
摘要
主流的图神经网络（GNNs）过度依赖图链接，其已暴露出若干严重的性能问题，例如悬停动画问题（suspended animation problem）与过平滑问题。此外，图固有的互联特性阻碍了图内的并行化，这对于大尺寸图而言尤为关键，因为内存限制使得跨节点的批处理难以实现。本文提出一种新的图神经网络，即 GRAPH-BERT（基于图的 BERT），它完全基于注意力机制，不含任何图卷积或聚合算子。我们不直接将完整的大输入图送入 GRAPH-BERT，而是提出在其局部上下文中以采样的无链接子图训练 GRAPH-BERT。GRAPH-BERT 可以独立模式有效学习。同时，预训练的 GRAPH-BERT 也可直接迁移至其他应用任务，或在有监督标签信息或特定面向应用的目标可用时通过必要的微调进行迁移。我们在多个图基准数据集上测试了 GRAPH-BERT 的有效性。基于以节点属性重构和结构恢复任务预训练的 GRAPH-BERT，我们进一步专门针对节点分类和图聚类任务微调 GRAPH-BERT。实验结果表明，GRAPH-BERT 在学习效果与效率上均优于现有 GNNs。
引用
@article{arxiv.2001.05140,
title = {Graph-Bert: Only Attention is Needed for Learning Graph Representations},
author = {Jiawei Zhang and Haopeng Zhang and Congying Xia and Li Sun},
journal= {arXiv preprint arXiv:2001.05140},
year = {2020}
}
备注
10 pages