从图神经网络提取低/高频知识并注入MLP：一种有效的GNN到MLP蒸馏框架
机器学习
2023-06-06 v2
摘要
近年来，图神经网络（GNNs）在处理图相关任务方面取得了巨大成功。然而，由于其理想的推理效率与可扩展性，MLPs仍是实际工业应用的主要主力。为缩小二者差距，可将知识从设计良好的教师GNN直接蒸馏到学生MLP，称为GNN到MLP蒸馏。然而，蒸馏过程通常伴随信息损失，而“GNN的哪些知识模式更可能被保留并蒸馏进MLP？”成为一个重要问题。本文首先将GNN学到的知识在谱域分解为低频与高频分量，并推导其在空间域的对应。此外，我们指出了现有GNN到MLP蒸馏中潜在的信息淹没问题，即预训练GNN的高频知识可能在蒸馏中被低频知识压倒；我们详细描述了其含义、成因、影响及应对方法。本文提出一种高效的全频GNN到MLP（FF-G2M）蒸馏框架，从GNN中提取低频与高频知识并注入MLP。大量实验表明，FF-G2M相较原始MLP提升12.6%，并在六个图数据集与三种常见GNN架构上平均优于其对应教师GNN 2.6%。
引用
@article{arxiv.2305.10758,
title = {Extracting Low-/High- Frequency Knowledge from Graph Neural Networks and Injecting it into MLPs: An Effective GNN-to-MLP Distillation Framework},
author = {Lirong Wu and Haitao Lin and Yufei Huang and Tianyu Fan and Stan Z. Li},
journal= {arXiv preprint arXiv:2305.10758},
year = {2023}
}