HINormer：基于图Transformer的异质信息网络的表示学习
机器学习
2023-03-06 v2
摘要
近期研究强调了基于消息传递的图神经网络（GNN）的局限性，例如模型表达能力有限、过平滑、过压缩等。为缓解这些问题，图Transformer（GT）被提出，其工作范式允许消息传递到更大范围甚至整个图。凭借全局范围注意力机制，GT在齐次图上的表示学习已展现出强大能力。然而，GT在异质信息网（HIN）上的研究仍待深入。特别是，由于异质性的存在，HIN呈现出不同的数据特征，因此需要区别对待。为弥补这一差距，本文研究基于图Transformer的HIN表示学习，并提出一种名为HINormer的新模型，其利用更大范围的聚合机制进行节点表示学习。具体而言，借助局部结构编码器与异质关系编码器两大核心模块，HINormer能够捕获HIN上节点的结构与异质信息，从而获得全面的节点表示。我们在四个HIN基准数据集上进行了大量实验，表明所提模型优于最先进方法。
引用
@article{arxiv.2302.11329,
title = {HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer},
author = {Qiheng Mao and Zemin Liu and Chenghao Liu and Jianling Sun},
journal= {arXiv preprint arXiv:2302.11329},
year = {2023}
}