通过隐式利用注意力与元路径的异质信息网络GCN
社会与信息网络
2020-07-07 v1 机器学习
摘要
异质信息网络(HIN)嵌入旨在将HIN中的结构与语义信息映射为分布式表示，已引起相当多的研究关注。用于HIN嵌入的图神经网络通常采用分层注意力（包括节点级和元路径级注意力）来捕获基于元路径的邻居信息。然而，这种复杂的注意力结构常因严重过拟合而无法实现元路径选择功能。此外，在传播信息时，这些方法不区分直接（一跳）元路径与间接（多跳）元路径。但从网络科学角度看，直接关系通常被认为更为本质，且仅可用于建模直接信息传播。为应对这些局限，我们提出一种通过隐式利用注意力与元路径的新型神经网络方法，可缓解当前HIN上过参数化注意力机制带来的严重过拟合。我们首先使用多层图卷积网络(GCN)框架，其在每一层执行判别性聚合，并逐层堆叠直接链接元路径的信息传播，以间接方式实现注意力选择元路径的功能。随后我们通过引入可与聚合分离的新传播操作给出有效松弛与改进。即，我们首先用定义良好的概率扩散动力学对整体传播过程建模，然后引入基于随机图的约束，使其能随层数增加降低噪声。大量实验证明了新方法相对于最先进方法的优越性。
引用
@article{arxiv.2007.02643,
title = {GCN for HIN via Implicit Utilization of Attention and Meta-paths},
author = {Di Jin and Zhizhi Yu and Dongxiao He and Carl Yang and Philip S. Yu and Jiawei Han},
journal= {arXiv preprint arXiv:2007.02643},
year = {2020}
}