基于多教师知识蒸馏的自动化图自监督学习
机器学习
2022-10-06 v1
摘要
图上的自监督学习近来在图表示学习中取得了显著成功。随着过去几年提出的数百种自监督预训练任务，研究界已极大发展，关键已不再是设计更强大但复杂的预训练任务，而是更有效地利用已有的那些任务。本文研究如何从给定的预训练任务池中，为每个节点自动、自适应且动态地学习实例级自监督学习策略的问题。在本文中，我们提出了一种用于自动化图自监督学习（AGSSL）的新型多教师知识蒸馏框架，其由两个主要分支组成：（i）知识提取：用不同预训练任务训练多个教师，以提取具有不同归纳偏置的不同层次知识；（ii）知识整合：整合不同层次知识并将其蒸馏到学生模型中。我们没有简单地将不同教师视为同等重要，而是提供了一个可证明的理论准则，指导如何整合不同教师的知识，即整合后的教师概率应接近真实的贝叶斯类概率。为在实践中逼近该理论最优，提出了两种自适应知识整合策略以构建一个相对“良好”的整合教师。在八个数据集上的大量实验表明，AGSSL 可受益于多个预训练任务，优于相应的单个任务；通过结合几个简单但经典的预训练任务，所得性能可与其他领先方法相媲美。
引用
@article{arxiv.2210.02099,
title = {Automated Graph Self-supervised Learning via Multi-teacher Knowledge Distillation},
author = {Lirong Wu and Yufei Huang and Haitao Lin and Zicheng Liu and Tianyu Fan and Stan Z. Li},
journal= {arXiv preprint arXiv:2210.02099},
year = {2022}
}