关于图神经网络表示知识蒸馏的研究
机器学习
2023-02-07 v4 机器学习
摘要
知识蒸馏是一种利用更具表达力但笨重的教师模型来提升资源高效图神经网络（GNNs）的学习范式。以往针对 GNN 的蒸馏工作提出了局部结构保持损失（LSP），其匹配学生和教师节点嵌入中基于边定义的局部结构关系。本文研究在教师嵌入图数据的方式中保持全局拓扑是否能成为 GNN 更有效的蒸馏目标，因为真实世界图常包含潜在交互与噪声边。我们提出图对比表示蒸馏（G-CRD），其使用对比学习通过在共享表示空间中将学生节点嵌入与教师对齐来隐式保持全局拓扑。此外，我们在教师与学生 GNN 性能差距不可忽略的大规模真实数据集上引入了一组扩展基准。在 4 个数据集和 14 种异构 GNN 架构上的实验表明，G-CRD 持续提升了轻量 GNN 的性能与鲁棒性，优于 LSP（及 LSP 的全局结构保持变体）以及来自 2D 计算机视觉的基线。对师生嵌入空间表示相似性的分析揭示，G-CRD 平衡了局部与全局关系的保持，而结构保持方法最擅长保持其中之一。我们的代码见 https://github.com/chaitjo/efficient-gnns
引用
@article{arxiv.2111.04964,
title = {On Representation Knowledge Distillation for Graph Neural Networks},
author = {Chaitanya K. Joshi and Fayao Liu and Xu Xun and Jie Lin and Chuan-Sheng Foo},
journal= {arXiv preprint arXiv:2111.04964},
year = {2023}
}
备注
IEEE Transactions on Neural Networks and Learning Representation (TNNLS), Special Issue on Deep Neural Networks for Graphs: Theory, Models, Algorithms and Applications