T2-GNN：基于师生蒸馏处理特征与结构不完备图的图神经网络
机器学习
2022-12-27 v1
摘要
图神经网络（GNNs）已成为处理图数据上各类分析任务的主流技术。GNN 卓越性能的一个关键前提是完整且可信的初始图描述（即节点特征与图结构），而这常因现实世界图因各种不可避免因素而不完备而难以满足。特别地，当节点特征与图结构同时不完备时，GNN 面临更大挑战。现有方法或关注特征补全，或关注结构补全。它们通常依赖特征与结构之间的匹配关系，或采用节点表示与特征（或结构）补全的联合学习，以期实现互利。然而，近期研究证实特征与结构间的相互干扰会导致 GNN 性能退化。当两者均不完备时，缺失随机性引起的特征与结构错配加剧了二者间的干扰，可能触发错误的补全并负面影响节点表示。为此，本文提出一种基于师生蒸馏的通用 GNN 框架以提升 GNN 在不完备图上的性能，即 T2-GNN。为避免特征与结构间的干扰，我们分别设计特征级与结构级教师模型，通过蒸馏为基础学生模型（如 GCN 等基础 GNN）提供针对性指导。随后我们设计两种个性化方法以获得训练良好的特征与结构教师。为确保教师模型知识被全面有效蒸馏至学生模型，进一步提出双蒸馏模式使学生尽可能获取专家知识。
引用
@article{arxiv.2212.12738,
title = {T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and Structure via Teacher-Student Distillation},
author = {Cuiying Huo and Di Jin and Yawen Li and Dongxiao He and Yu-Bin Yang and Lingfei Wu},
journal= {arXiv preprint arXiv:2212.12738},
year = {2022}
}
备注
Accepted by AAAI23