LTE4G：面向图神经网络的长尾专家模型
机器学习
2022-09-09 v2
摘要
现有的图神经网络（GNNs）通常假设类别分布与节点度分布均平衡的均衡情形。然而在真实场景中，我们常遇到少数类别（即头部类）主导其他类别（即尾部类）以及从节点度视角看亦如此的情况，因此直接套用现有 GNNs 最终难以泛化至尾部情形。尽管近期研究提出了处理图上长尾情形的方法，它们仅关注类别长尾性或度长尾性之一。在本文中，我们提出一种训练 GNNs 的新框架，称为图的长尾专家（LTE4G），其联合考虑节点分类中的类别长尾性与度长尾性。核心思想是为每个以兼顾类别与度长尾性的均衡方式划分出的节点子集分配一个专家 GNN 模型。在为每个均衡子集训练好专家后，我们采用知识蒸馏获得两个类别级学生，即头部类学生与尾部类学生，各自负责分类头部类与尾部类中的节点。我们证明了 LTE4G 在人工与自然不平衡图上评估的节点分类中优于广泛的前沿方法。LTE4G 的源代码可在 https://github.com/SukwonYun/LTE4G 找到。
引用
@article{arxiv.2208.10205,
title = {LTE4G: Long-Tail Experts for Graph Neural Networks},
author = {Sukwon Yun and Kibum Kim and Kanghoon Yoon and Chanyoung Park},
journal= {arXiv preprint arXiv:2208.10205},
year = {2022}
}
备注
Accepted by CIKM 2022, the code is available at https://github.com/SukwonYun/LTE4G