自适应黎曼空间中的自监督持续图学习
机器学习
2023-06-05 v2
摘要
持续图学习在多种现实应用中发挥着作用,其中具有不同任务的图数据依次到来。尽管先前工作取得了成功,它仍面临巨大挑战。一方面,现有方法在零曲率欧几里得空间中工作,并在很大程度上忽略了曲率在到来的图序列上变化的事实。另一方面,文献中的持续学习者依赖大量标签,但在实践中标注图尤其困难,特别是对于动态持续涌现的图。为解决上述挑战,我们提出探索一个具有挑战性但实用的问题:自适应黎曼空间中的自监督持续图学习。在本文中,我们提出了一种新颖的自监督黎曼图持续学习器(RieGrace)。在RieGrace中,我们首先设计了一个自适应黎曼GCN(AdaRGCN),这是一个与神经曲率适配器耦合的统一GCN,使得黎曼空间由学习到的适应每个图的曲率所塑造。然后,我们提出了一种无标签洛伦兹蒸馏方法,其中我们为图序列创建师生AdaRGCN。学生依次执行来自自身的内部蒸馏和来自教师的内部蒸馏,以巩固知识而避免灾难性遗忘。特别地,我们提出了一种理论上有依据的广义洛伦兹投影,用于黎曼空间中的对比蒸馏。在基准数据集上的大量实验显示了RieGrace的优越性,此外,我们研究了曲率如何随图序列变化。
引用
@article{arxiv.2211.17068,
title = {Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces},
author = {Li Sun and Junda Ye and Hao Peng and Feiyang Wang and Philip S. Yu},
journal= {arXiv preprint arXiv:2211.17068},
year = {2023}
}
备注
Accepted by AAAI 2023 (Main Track), 9 pages, 4 figures