量化GNN中的知识以实现向MLP的可靠蒸馏
机器学习
2023-06-12 v1
摘要
为弥合拓扑感知的图神经网络（GNN）与推理高效的多层感知机（MLP）之间的差距，GLNN提出将训练良好的教师GNN中的知识蒸馏至学生MLP。尽管取得了重大进展，但相对而言，探索GNN中不同知识点（节点）的可靠性及其在蒸馏过程中所起作用的工作甚少。本文中，我们首先通过度量GNN信息熵对噪声扰动的不变性来量化其中的知识可靠性，由此观察到不同知识点（1）表现出不同的蒸馏速度（时间上）；（2）在图中分布不均（空间上）。为实现可靠蒸馏，我们提出一种有效方法，称为知识启发的可靠蒸馏（KRD），其对每个节点作为信息丰富且可靠的知识点的概率进行建模，并基于此采样一组额外的可靠知识点作为训练学生MLP的监督。大量实验表明，KRD在7个数据集和3种GNN架构上平均比原始MLP提升12.62%，并比其对应教师GNN提升2.16%。
引用
@article{arxiv.2306.05628,
title = {Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs},
author = {Lirong Wu and Haitao Lin and Yufei Huang and Stan Z. Li},
journal= {arXiv preprint arXiv:2306.05628},
year = {2023}
}