用于图神经网络的对抗性课程无图知识蒸馏
机器学习
2025-04-03 v2
摘要
无数据知识蒸馏（DFKD）是一种使用生成器在没有真实数据的情况下构造伪样本，并通过强制学生克服维度差异并学习模仿教师在这些伪样本上的输出来将知识从教师模型转移到学生的方法。近年来，视觉领域的各种研究在这一领域取得了显著进展。然而，图数据的不同拓扑结构和非网格性质使得视觉领域的方法无效。在先前对图神经网络可微方法研究的基础上，我们在本文中提出了一种快速、高质量的无数据知识蒸馏方法。在不影响蒸馏质量的情况下，所提出的无图知识蒸馏方法（ACGKD）通过利用二进制具体分布对图结构进行建模并引入空间复杂度调整参数，显著降低了伪图的空间复杂度。这种方法能够对图结构进行高效的梯度计算，从而加速整个蒸馏过程。此外，ACGKD通过增加学生模型的维度并重用教师模型的分类器，消除了学生和教师模型之间的维度模糊性。此外，它为图知识蒸馏配备了基于课程学习的策略，以确保学生逐步学习图结构。大量实验表明，ACGKD在无训练数据的情况下从GNN中蒸馏知识方面达到了最先进的性能。
引用
@article{arxiv.2504.00540,
title = {Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks},
author = {Yuang Jia and Xiaojuan Shan and Jun Xia and Guancheng Wan and Yuchen Zhang and Wenke Huang and Mang Ye and Stan Z. Li},
journal= {arXiv preprint arXiv:2504.00540},
year = {2025}
}