迭代图自蒸馏
机器学习
2023-01-05 v3
摘要
近来，关于如何判别性地将图向量化的问题引起了越来越多的关注。为此，我们提出了一种称为迭代图自蒸馏（IGSD）的方法，该方法通过实例判别、采用自监督对比学习的方式以无监督形式学习图级表征。IGSD 涉及一个教师-学生蒸馏过程，利用图扩散增强并使用学生模型的指数移动平均来构建教师模型。IGSD 背后的直觉是预测在不同增强视图下图对的教师网络表征。作为一个自然的扩展，我们也将 IGSD 应用于半监督场景，通过同时用有监督和自监督对比损失对网络进行正则化。最后，我们展示了用自训练对 IGSD 训练的模型进行微调可进一步提升图表征能力。在经验上，我们在无监督和半监督设置下的多个图数据集上均取得了显著且一致的性能增益，这很好地验证了 IGSD 的优越性。
引用
@article{arxiv.2010.12609,
title = {Iterative Graph Self-Distillation},
author = {Hanlin Zhang and Shuai Lin and Weiyang Liu and Pan Zhou and Jian Tang and Xiaodan Liang and Eric P. Xing},
journal= {arXiv preprint arXiv:2010.12609},
year = {2023}
}
备注
The Workshop on Self-Supervised Learning for the Web