基于深度监督的图神经网络在线跨层知识蒸馏
机器学习
2022-10-26 v1 人工智能
摘要
图神经网络（GNNs）因其在处理不规则图数据方面的强大能力，已成为学术界和工业界最受欢迎的研究课题之一。然而，大规模数据集对在计算资源受限的边缘设备上部署 GNNs 提出了巨大挑战，模型压缩技术已引起相当多的研究关注。现有的模型压缩技术如知识蒸馏（KD）主要关注卷积神经网络（CNNs）。近期仅有有限尝试以离线方式从 GNNs 中蒸馏知识。由于 GNNs 中教师模型的性能未必随层数增加而提升，选择合适的教师模型需要大量工作。为应对这些挑战，我们在本文中提出一种称为 Alignahead++ 的新型在线知识蒸馏框架。Alignahead++ 在交替训练过程中，将一个学生层中的结构与特征信息迁移至另一个同时训练的学生模型的上一层。同时，为避免 GNNs 中的过平滑问题，Alignahead++ 采用了深度监督，通过在每个中间层添加辅助分类器来防止节点特征嵌入的崩塌。在包括 PPI、Cora、PubMed 和 CiteSeer 的四个数据集上的实验结果表明，在我们的协作训练框架中，无需预训练教师模型的监督，学生性能得到持续增强，并且其有效性通常可通过增加学生数量而提高。
引用
@article{arxiv.2210.13743,
title = {Online Cross-Layer Knowledge Distillation on Graph Neural Networks with Deep Supervision},
author = {Jiongyu Guo and Defang Chen and Can Wang},
journal= {arXiv preprint arXiv:2210.13743},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2205.02468