用于基于图的半监督学习的多任务自蒸馏方法
机器学习
2022-06-13 v3
摘要
图卷积网络在基于图的半监督学习中取得了很大进展。现有方法主要假设由图边连接的节点倾向于具有相似的属性和标签，从而经局部图结构平滑后的特征可揭示类别相似性。然而，在许多真实场景中，图结构与标签之间常存在不匹配，结构可能传播误导性的特征或标签，最终影响模型性能。本文提出一种多任务自蒸馏框架，将自监督学习与自蒸馏注入图卷积网络，分别从结构侧和标签侧解决不匹配问题。首先，我们基于前置任务构建自监督流程以捕捉图中不同层次的相似性。通过联合优化前置任务与目标任务，鼓励特征提取过程捕捉更复杂的邻近性，从而从结构侧改进局部特征聚合。其次，自蒸馏使用模型自身的软标签作为额外监督，其效果类似于标签平滑。来自分类流程与自监督流程的知识被共同蒸馏，以从标签侧提升模型的泛化能力。实验结果表明，所提方法在几种经典图卷积架构下均取得了显著的性能提升。
引用
@article{arxiv.2112.01174,
title = {Multi-task Self-distillation for Graph-based Semi-Supervised Learning},
author = {Yating Ren and Junzhong Ji and Lingfeng Niu and Minglong Lei},
journal= {arXiv preprint arXiv:2112.01174},
year = {2022}
}