面向图神经网络的在线对抗知识蒸馏
机器学习
2024-12-06 v2 人工智能
摘要
知识蒸馏是近期在卷积神经网络（CNNs）中用于增强模型泛化的流行技术，其假设教师与学生模型在相同数据分布上训练。然而，其在图神经网络（GNNs）上的效果不尽如人意，因为图拓扑与节点属性易于演化，从而导致分布偏移问题。在本文中，我们通过以在线蒸馏方式同时训练一组图神经网络来解决此挑战，其中组知识充当动态虚拟教师，并有效捕获图神经网络中的结构变化。为提升蒸馏性能，在学生间传递两类知识以相互增强：反映图拓扑与节点属性信息的局部知识，以及反映类别上预测的全局知识。我们以KL散度传递全局知识，如同普通知识蒸馏，同时利用高效对抗循环学习框架处理局部知识的复杂结构。大量实验验证了所提在线对抗蒸馏方法的有效性。代码发布于https://github.com/wangz3066/OnlineDistillGCN。
引用
@article{arxiv.2112.13966,
title = {Online Adversarial Knowledge Distillation for Graph Neural Networks},
author = {Can Wang and Zhe Wang and Defang Chen and Sheng Zhou and Yan Feng and Chun Chen},
journal= {arXiv preprint arXiv:2112.13966},
year = {2024}
}
备注
Published at Expert Systems with Applications (ESWA)