MuGSI：面向图分类的多粒度结构信息知识蒸馏GNN
机器学习
2024-07-01 v1
摘要
近期研究引入了GNN到MLP知识蒸馏 (KD) 框架，以结合GNN的卓越性能与MLP的快速推理速度。然而，现有KD框架主要为单图内的节点分类设计，其对图分类的适用性尚未得到充分探索。将KD用于节点分类扩展到图分类会出现两个主要挑战：(1) 由于软标签在图层面上生成，学习信号的内在稀疏性；(2) 在特征空间受限的数据集中，学生MLP的表达能力有限。为克服这些挑战，我们提出了MuGSI——一种采用多粒度结构信息进行图分类的KD框架。具体而言，MuGSI提出了多粒度蒸馏损失以解决第一个挑战。该损失函数由三个独立组成部分构成：图级蒸馏、子图级蒸馏和节点级蒸馏。每个组成部分针对图结构的特定粒度，确保了从教师模型到学生模型的结构知识的全面传递。为解决第二个挑战，MuGSI提出了节点特征增强组件，从而增强了学生MLP的表达能力，使其成为更有能力的学习者。我们在多种数据集上进行了广泛实验，测试了不同的教师/学生模型架构。实验结果表明，MuGSI在有效性、效率和鲁棒性方面均表现出色。代码已公开于：https://github.com/tianyao-aka/MuGSI。
引用
@article{arxiv.2406.19832,
title = {MuGSI: Distilling GNNs with Multi-Granularity Structural Information for Graph Classification},
author = {Tianjun Yao and Jiaqi Sun and Defu Cao and Kun Zhang and Guangyi Chen},
journal= {arXiv preprint arXiv:2406.19832},
year = {2024}
}
备注
12 pages, 4 figures. Accepted by TheWebConf2024