Mirage：面向图分类的模型无关图蒸馏方法

GNN 与其他深度学习模型一样，对数据和计算资源需求巨大。迫切需要在大规模数据集上扩展 GNN 的训练，以使其能够在低资源环境中使用。图蒸馏正是朝着该方向的一项努力，旨在从原始训练数据中构建一个更小的合成训练集，同时不显著损害模型性能。尽管初步工作前景可期，本工作受两个关键观察的推动：(1) 现有的图蒸馏算法本身依赖于使用完整数据集进行训练，这破坏了图蒸馏的前提。(2) 蒸馏过程特定于目标 GNN 架构和超参数，因而对建模流程的变化缺乏鲁棒性。我们通过设计一种称为 Mirage 的图分类蒸馏算法来规避这些局限。Mirage 建立在如下洞见之上：消息传递 GNN 将输入图分解为计算树的多重集。此外，计算树的频率分布在本质上常常偏斜，使我们能够将该数据压缩为一个简洁的蒸馏摘要。通过压缩计算数据本身——而非像迄今主流方法那样在原始训练集上模拟梯度流——Mirage 转变为一种无监督且架构无关的蒸馏算法。在真实世界数据集上的广泛基准测试凸显了 Mirage 的优越性，与最先进的基线相比，其在泛化精度、数据压缩和蒸馏效率方面均展现出提升。