面向异构图表示学习的层次异构图变换器
机器学习
2024-07-19 v1 数据库
摘要
尽管异构图神经网络（HGNN）在建模真实世界的异构信息网络（HIN）方面取得了显著成功，但表达能力的局限性和过平滑问题促使研究者探索图变换器（GT）以实现更好的 HIN 表示学习。然而，针对 HIN 的 GT 研究仍有限，其主要存在两个关键不足：（1）在 HIN 中，距离不同的节点邻居传递着不同的语义。不幸的是，现有方法忽略了这些差异，统一以粗糙方式处理给定距离内的邻居，导致语义混淆。（2） HIN 中的节点类型多样，每种类型都具有独特的语义。然而，现有方法在邻域聚合时会混合不同类型的节点，阻碍了捕获不同类型节点之间的恰当关联。为弥合这一差距，我们设计了一种创新结构称为（k,t）环形邻域，其中节点首先按距离组织，形成每个距离的不同非重叠k环邻域。在每个k环结构内部，节点进一步按类型划分为不同组，从而自然强调 HIN 中距离和类型的异构性。基于此结构，我们提出了一种新型层次异构图变换器（HHGT）模型，它无缝集成了用于聚合每个k环邻域内不同类型节点的类型级变换器，随后是用于以层次方式聚合不同k环邻域的环级变换器。通过在下游任务上进行大量实验，我们验证了 HHGT 相对于 14 个基线方法的优势。在 ACM 数据集的节点聚类任务中，HHGT 相比最佳基线方法在 NMI 上提升最高可达 24.75%，在 ARI 上提升最高可达 29.25%。
引用
@article{arxiv.2407.13158,
title = {HHGT: Hierarchical Heterogeneous Graph Transformer for Heterogeneous Graph Representation Learning},
author = {Qiuyu Zhu and Liang Zhang and Qianxiong Xu and Kaijun Liu and Cheng Long and Xiaoyang Wang},
journal= {arXiv preprint arXiv:2407.13158},
year = {2024}
}