HIRE:从异质图神经网络中蒸馏高阶关系知识
机器学习
2022-07-26 v1
摘要
由于异质图在学术与工业领域的普遍性,研究者近期提出了大量异质图神经网络(HGNNs)。与追求更强大的HGNN模型不同,本文致力于设计一种通用的即插即用模块,用于从预训练HGNN中蒸馏关系知识。据我们所知,我们首次提出了异质图上的高阶关系(HIRE)知识蒸馏框架,其能显著提升预测性能而不受HGNN模型架构影响。具体地,我们的HIRE框架首先执行一阶节点级知识蒸馏,利用教师HGNN的预测logits编码其语义。同时,二阶关系级知识蒸馏模仿由教师HGNN生成的不同类型节点嵌入间的关系相关性。在多种流行HGNN模型与三个真实异质图上的大量实验表明,我们的方法获得一致且可观的性能提升,证明了其有效性与泛化能力。
引用
@article{arxiv.2207.11887,
title = {HIRE: Distilling High-order Relational Knowledge From Heterogeneous Graph Neural Networks},
author = {Jing Liu and Tongya Zheng and Qinfen Hao},
journal= {arXiv preprint arXiv:2207.11887},
year = {2022}
}
备注
22 pages, 15 figures, submitted to Neurocomputing