注意力机制即为提升图卷积神经网络所需的一切
机器学习
2024-03-26 v1 图形学
社会与信息网络
摘要
图卷积神经网络（GCN）具备处理非网格域图数据的强大能力。它们能够捕获图中的拓扑逻辑结构和节点特征，并将其整合到节点的最终表示中。GCN已在推荐系统、社交网络和蛋白质分子结构等多个领域得到广泛研究。随着图神经网络应用的日益增多，研究重点已转向在压缩其规模的同时提升其性能。本文提出一个名为图知识增强与蒸馏模块（GKEDM）的即插即用模块。GKEDM通过多头注意力机制提取和聚合图信息，能够增强节点表示并提升GCN的性能。此外，GKEDM可作为知识蒸馏的辅助传递器。通过专门设计的注意力蒸馏方法，GKEDM能将大型教师模型的知识蒸馏到高性能且紧凑的学生模型中。在多个数据集上的实验表明，GKEDM能以极小的开销显著提升各种GCN的性能。此外，它能通过注意力蒸馏将蒸馏知识从大型教师网络高效迁移到小型学生网络。
引用
@article{arxiv.2403.15419,
title = {Attention is all you need for boosting graph convolutional neural network},
author = {Yinwei Wu},
journal= {arXiv preprint arXiv:2403.15419},
year = {2024}
}