教硬更省：重新思考GNN到MLP知识蒸馏中的硬样本 distillation
机器学习
2024-07-23 v1 人工智能
摘要
为弥合强大的图神经网络（GNN）与轻量级多层感知器（MLP）之间的差距，GNN到MLP知识蒸馏（KD）提议将来自已训练教师GNN的知识蒸馏到学生MLP中。本文从硬度角度重新审视教师GNN中的知识样本（节点），并指出硬样本蒸馏可能是现有图形KD算法的主要性能瓶颈。GNN到MLP KD涉及两种不同的硬度类型：一种学生无关的知识硬度描述GNN知识的固有复杂度，另一种学生相关的蒸馏硬度描述教师到学生蒸馏的难度。然而，大多数现有工作只关注这两种硬度中的一种，或将其视为一回。本文提出一种简单而有效的硬度感知GNN到MLP蒸馏（HGMD）框架，解耦这两种硬度，并使用非参数方法对其进行估计。最终，进一步提出了两种硬度感知蒸馏方案（即HGMD-weight和HGMD-mixup），将来自教师GNN的硬度感知知识蒸馏到学生MLP的相应节点。作为非参数蒸馏，HGMD不涉及除学生MLP之外的任何额外可学习参数，但仍优于大多数最先进的竞争者。HGMD-mixup在Vanilla MLP上提高了12.95%，在七个真实世界数据集上超过其教师GNN2.48%。
引用
@article{arxiv.2407.14768,
title = {Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation},
author = {Lirong Wu and Yunfan Liu and Haitao Lin and Yufei Huang and Stan Z. Li},
journal= {arXiv preprint arXiv:2407.14768},
year = {2024}
}