DSLR：面向图持续学习的再训练缓冲区多样性增强与结构学习
机器学习
2024-03-05 v4 人工智能
摘要
我们研究了在图持续学习（GCL）方法中基于再训练的缓冲区。现有的基于再训练的GCL方法会为每一类别选择最具代表性的节点并存储在缓冲区中供后续训练使用。然而，我们发现仅考虑每个重放节点的类别代表性会导致重放节点集中在每个类别的中心，从而增加对这些区域节点的过拟合风险，加剧灾难性遗忘。此外，由于基于再训练的方法高度依赖少数重放节点来保留来自先前任务的知识，若模型训练中涉及邻居无关的重放节点，将对模型性能产生显著负面影响。本文提出一种名为DSLR的GCL模型，具体我们设计了基于覆盖的多样性（CD）方法，既考虑重放节点的类别代表性，又考虑其在类别内的多样性。此外，我们采用图结构学习（GSL）以确保重放节点与真正有信息的邻居相连。大量实验结果表明，DSLR在有效性和效率方面均表现优异。我们的源代码已公开：https://github.com/seungyoon-Choi/DSLR_official。
引用
@article{arxiv.2402.13711,
title = {DSLR: Diversity Enhancement and Structure Learning for Rehearsal-based Graph Continual Learning},
author = {Seungyoon Choi and Wonjoong Kim and Sungwon Kim and Yeonjun In and Sein Kim and Chanyoung Park},
journal= {arXiv preprint arXiv:2402.13711},
year = {2024}
}
备注
Accepted at ACM TheWebConf 2024 (WWW 2024) (Oral presentation)