面向图神经网络的无数据对抗知识蒸馏
机器学习
2022-06-17 v2
摘要
图神经网络（GNNs）因其在广泛实际应用中的优异性能，已被广泛用于建模图结构数据。近来，针对GNN的知识蒸馏（KD）在图模型压缩与知识迁移方面取得了显著进展。然而，现有多数KD方法需要大量真实数据，而实践中这类数据往往不易获取，且当教师模型在稀有或难以获取的数据集上训练时，其适用性会受限。为解决该问题，我们提出了首个面向图结构数据的端到端无数据对抗知识蒸馏框架（DFAD-GNN）。具体而言，我们的DFAD-GNN采用生成对抗网络，其主要包含三个组件：预训练的教师模型与学生模型被视为两个判别器，并采用一个生成器来生成训练图，从而将教师模型的知识蒸馏至学生模型。在多种基准模型与六个代表性数据集上的大量实验表明，我们的DFAD-GNN在图分类任务中显著优于最先进的无数据基线方法。
引用
@article{arxiv.2205.03811,
title = {Data-Free Adversarial Knowledge Distillation for Graph Neural Networks},
author = {Yuanxin Zhuang and Lingjuan Lyu and Chuan Shi and Carl Yang and Lichao Sun},
journal= {arXiv preprint arXiv:2205.03811},
year = {2022}
}
备注
Accepted by IJCAI 2022. arXiv admin note: text overlap with arXiv:2011.14779, arXiv:1912.11006 by other authors