教授 MLP 更多图信息：一种三阶段多任务知识蒸馏框架
机器学习
2024-03-05 v1 人工智能
摘要
我们研究了大规模图数据集上 Graph Neural Networks 推理任务面临的挑战性问题：巨大的时间和内存消耗，并试图通过减少对图结构的依赖来克服它。尽管将图知识蒸馏给学生 MLP 是一个极好的想法，但它面临位置信息丢失和泛化能力低这两个主要问题。为了解决这些问题，我们提出了一种新的三阶段多任务蒸馏框架。具体而言，我们使用 Positional Encoding 来捕获位置信息。此外，我们引入了负责 GNN 中图数据处理的 Neural Heat Kernels，并利用隐层输出匹配来提升学生 MLP 隐层的性能。据我们所知，这是首个在图上为学生 MLP 包含隐层蒸馏，并将图 Positional Encoding 与 MLP 相结合的工作。我们在多种设置下测试了其性能和鲁棒性，得出的结论是我们的工作能够以良好的稳定性表现出优越的性能。
引用
@article{arxiv.2403.01079,
title = {Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework},
author = {Junxian Li and Bin Shi and Erfei Cui and Hua Wei and Qinghua Zheng},
journal= {arXiv preprint arXiv:2403.01079},
year = {2024}
}
备注
20 pages, with Appendix