基于特征基匹配的图蒸馏
机器学习
2024-05-15 v2
摘要
不断增长的图数据对图神经网络（GNNs）的高效训练提出了要求。新兴的图蒸馏（GD）通过蒸馏出一个小的合成图来替代真实的大图，从而应对这一挑战，确保于真实图与合成图上训练的 GNNs 表现出可比的性能。然而，现有方法依赖 GNN 相关信息作为监督，包括梯度、表示和轨迹，这存在两个局限。首先，GNNs 会影响真实图的谱（即特征值），导致合成图出现谱偏差。其次，GNN 架构的多样性导致需为不同架构创建不同的合成图，需遍历以获得最优性能。为解决这些问题，我们提出基于特征基匹配的图蒸馏（GDEM），其对齐真实图与合成图的特征基和节点特征。同时，它直接复制真实图的谱，从而防止 GNNs 的影响。此外，我们设计了一种判别约束以平衡 GDEM 的有效性与泛化性。理论上，GDEM 蒸馏出的合成图是真实图的受限谱近似。大量实验表明，GDEM 优于最先进的 GD 方法，具备强大的跨架构泛化能力与显著的蒸馏效率。我们的代码见 https://github.com/liuyang-tian/GDEM。
引用
@article{arxiv.2310.09202,
title = {Graph Distillation with Eigenbasis Matching},
author = {Yang Liu and Deyu Bo and Chuan Shi},
journal= {arXiv preprint arXiv:2310.09202},
year = {2024}
}
备注
Accepted by ICML 2024