图神经网络在持续学习中的局限性及经验回放
机器学习
2024-07-10 v2
摘要
持续学习旨在使模型能够从一系列任务中逐步获取信息。该方法对许多动态且随时间演化的真实系统至关重要。近期研究见证了图神经网络（GNN）在节点级图持续学习（NGCL）中的广泛探索，这是一种实用但具挑战性的范式，涉及在节点相关任务上持续训练 GNN。尽管 GNN 在 NGCL 中的持续学习策略近期取得进展，但缺乏深入的理论理解，尤其是关于其可学习性方面。可学习性关注是否存在一种学习算法能从假设/权重空间中产生良好的候选模型，这对 NGCL 开发中的模型选择至关重要。本文首次对 GNN 在 NGCL 中的可学习性进行理论探索，揭示可学习性深受图数据互联特性导致的结构偏移影响。具体而言，在显著结构变化下 GNN 可能不适用于 NGCL，强调管理结构偏移的必要性。为缓解结构偏移的影响，我们提出一种称为结构演化感知经验回放（SEA-ER）的新型经验回放方法。SEA-ER 具有一种创新的经验选择策略，利用 GNN 的拓扑感知能力，并配有独特的回放策略，采用结构对齐来有效对抗灾难性遗忘并减小结构偏移对 NGCL 中 GNN 的影响。我们的大量实验验证了理论见解与 SEA-ER 的有效性。
引用
@article{arxiv.2302.03534,
title = {On the Limitation and Experience Replay for GNNs in Continual Learning},
author = {Junwei Su and Difan Zou and Chuan Wu},
journal= {arXiv preprint arXiv:2302.03534},
year = {2024}
}