基于图神经网络的超图预训练
机器学习
2021-05-25 v1
摘要
尽管超图在多种高影响力应用中十分普遍,但关于超图表示学习的工作相对较少,且其中多数主要关注超链接预测,常局限于转导式学习设定。其中,有效超图表示学习的一大障碍在于节点和/或超边的标签稀缺。为解决该问题,本文提出一种基于图神经网络、用于超图的端到端双层预训练策略。所提框架名为HyperGene,具有三个显著优势。首先,它能够在标签可用时吸收标签信息,但更重要的是,它主要以自监督方式设计,这显著拓宽了其适用性。其次,HyperGene的核心是两个精心设计的预文本任务,一个在节点层级,另一个在超边层级,使我们能够以互为补充的方式编码局部与全局上下文。第三,该框架可工作于转导式与归纳式两种设定。当串联使用两个所提预文本任务时,得益于方法的双层特性,它能加速预训练模型知识在转导式设定下向下游应用的适配。大量实验结果表明:(1) HyperGene在超边分类上取得最高5.69%的提升;(2) 平均将预训练效率提升达42.80%。
引用
@article{arxiv.2105.10862,
title = {Hypergraph Pre-training with Graph Neural Networks},
author = {Boxin Du and Changhe Yuan and Robert Barton and Tal Neiman and Hanghang Tong},
journal= {arXiv preprint arXiv:2105.10862},
year = {2021}
}