基于图技术优化图Transformer网络
人工智能
2021-06-17 v1
摘要
图Transformer网络（GTN）是图卷积网络（GCN）的一种变体，面向异质图，其中节点和边具有可加以利用的类型信息以提高推断精度。GTN学习图中重要的元路径，为这些元路径创建加权边，并在GCN中使用所得图。目前唯一可用的GTN实现使用稠密矩阵乘法来寻找元路径。遗憾的是，该方法的空间开销可能很大，因此实践中仅用于小图。此外，基于矩阵的实现不够细粒度，无法使用基于随机游走来优化元路径寻找。本文中，我们提出GTN元路径寻找问题的基于图的公式与实现。该基于图的公式相较基于矩阵的方法有两个优势。首先，它比原始GTN实现更节省空间，且对实际感兴趣的元路径规模计算更高效。其次，它允许我们实现一种采样方法，减少必须枚举的元路径数量，使该实现能用于更大的图和更大的元路径规模。实验结果表明，对于元路径长度为4，我们的实现平均比原始GTN实现快，且我们的采样实现平均比该实现快而不损害GTN的精度。
引用
@article{arxiv.2106.08500,
title = {Optimizing Graph Transformer Networks with Graph-based Techniques},
author = {Loc Hoang and Udit Agarwal and Gurbinder Gill and Roshan Dathathri and Abhik Seal and Brian Martin and Keshav Pingali},
journal= {arXiv preprint arXiv:2106.08500},
year = {2021}
}