基于双层优化的多教师蒸馏的噪声节点分类
机器学习
2024-05-09 v2
摘要
以往的图神经网络通常假设图数据具有干净标签用于表示学习，但在实际应用中并非如此。本文提出了一种基于双层优化的新多教师蒸馏方法（称为BO-NNC），用于在图数据上进行噪声节点分类。具体来说，我们首先采用多种自监督学习方法训练不同的教师模型，然后通过教师权重矩阵聚合它们的预测。此外，我们设计了一种新的双层优化策略，根据学生模型的训练进度动态调整教师权重矩阵。最后，我们设计了一个标签改进模块来提高标签质量。在真实数据集上的大量实验结果表明，与最先进的方法相比，我们的方法取得了最佳结果。
引用
@article{arxiv.2404.17875,
title = {Noisy Node Classification by Bi-level Optimization based Multi-teacher Distillation},
author = {Yujing Liu and Zongqian Wu and Zhengyu Lu and Ci Nie and Guoqiu Wen and Ping Hu and Xiaofeng Zhu},
journal= {arXiv preprint arXiv:2404.17875},
year = {2024}
}