通过对抗式知识蒸馏压缩深度图神经网络
机器学习
2022-05-25 v1 人工智能
摘要
深度图神经网络（GNNs）已被证明在建模图结构数据方面具有强表达能力。然而，深度图模型过度堆叠的架构使其难以在移动或嵌入式系统上部署和快速测试。为压缩过度堆叠的 GNNs，基于教师-学生架构的知识蒸馏被证明是一种有效技术，其中关键步骤是用预定义的距离函数度量教师网络与学生网络之间的差异。然而，对具有不同结构的图使用相同的距离可能并不合适，且最优的距离形式难以确定。为解决这些问题，我们提出了一种名为 GraphAKD 的面向图模型的新型对抗式知识蒸馏框架，该框架对抗式地训练判别器与生成器以自适应地检测并减小差异。具体而言，注意到良好捕获的节点间与类间相关性有助于深度 GNNs 的成功，我们提出用可训练的判别器从节点级和类级视角审视所继承的知识。判别器区分教师知识与学生所继承的知识，而学生 GNN 充当生成器并旨在欺骗判别器。据我们所知，GraphAKD 是首个将对抗训练引入图领域知识蒸馏的方法。在节点级与图级分类基准上的实验表明，GraphAKD 大幅提升了学生模型性能。结果意味着 GraphAKD 能够将知识从复杂的教师 GNN 精确迁移至紧凑的学生 GNN。
引用
@article{arxiv.2205.11678,
title = {Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation},
author = {Huarui He and Jie Wang and Zhanqiu Zhang and Feng Wu},
journal= {arXiv preprint arXiv:2205.11678},
year = {2022}
}
备注
Accepted to KDD 2022