几何知识蒸馏：图神经网络的结构压缩
机器学习
2023-01-18 v2
摘要
我们研究了一种新的知识迁移范式，旨在通过将训练于完整图上的教师图神经网络（GNN）模型的知识蒸馏到在更小或更稀疏图上运行的学生 GNN 模型，将图拓扑信息编码到 GNN 中。为此，我们重新审视热力学与 GNN 行为之间的联系，并基于此提出神经热核（NHK）来封装关于 GNN 架构的底层流形的几何性质。通过对齐教师与学生模型上的 NHK，我们推导出一个基本且原则性的解决方案，称为几何知识蒸馏。我们开发了非参数与参数化实例，并在涉及不同类型特权拓扑信息和师生方案的知识蒸馏的各种实验设置中展示了其有效性。
引用
@article{arxiv.2210.13014,
title = {Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks},
author = {Chenxiao Yang and Qitian Wu and Junchi Yan},
journal= {arXiv preprint arXiv:2210.13014},
year = {2023}
}
备注
in NeurIPS 2022