基于自注意力动态抽样的 GNN 到 Kolmogorov-Arnold 网络的高效知识蒸馏
机器学习
2026-02-10 v2 性能
摘要
最近，图神经网络（GNN）在建模复杂图结构数据方面的成功推动了在资源受限的边缘设备上部署它们的热潮。然而，这些方法在计算和内存需求方面存在显著挑战。从 GNN 蒸馏到 MLP 的知识蒸馏（KD）提供了一种轻量级替代方案，但 MLP 仍受限于固定激活函数和缺乏邻域聚合，限制了蒸馏后的性能。为解决这两个相互关联的限制，我们提出了 SA-DSD，即基于自注意力引导的动态抽样蒸馏框架。据我们所知，这是首次将改进的 Kolmogorov-Arnold 网络（KAN）作为学生模型。我们改进的傅里叶 KAN（FR-KAN+）引入可学习的频率基、相位偏移以及优化算法，显著提升了对非线性函数的拟合能力，同时保持较低的计算复杂度。为弥补 MLP 和基于 KAN 的学生模型固有的缺乏邻域聚合这一限制，SA-DSD 利用自注意力机制动态识别具有影响力的节点，构建自适应抽样概率矩阵，并强制教师-学生预测一致性。在六个真实数据集上的大量实验表明，在归纳学习以及大多数 transductive 设置下，SA-DSD 相较于三个 GNN 教师提升了 3.05%-3.62%，相较于 FR-KAN+ 提升了 15.61%。此外，与关键基准相比，SA-DSD 实现了 16.69 倍的参数削减和 55.75% 的平均每轮运行时间降低。
引用
@article{arxiv.2509.00560,
title = {Efficient Graph Knowledge Distillation from GNNs to Kolmogorov--Arnold Networks via Self-Attention Dynamic Sampling},
author = {Can Cui and Zilong Fu and Penghe Huang and Yuanyuan Li and Wu Deng and Dongyan Li},
journal= {arXiv preprint arXiv:2509.00560},
year = {2026}
}