通过参数隔离在动态图上进行持续学习
机器学习
2023-07-12 v2 信息检索
摘要
许多现实世界的图学习任务需要处理新节点和边不断出现的动态图。动态图学习方法普遍面临灾难性遗忘问题，即先前图所学的知识被新图的更新覆盖。为缓解该问题，持续图学习方法被提出。然而，现有的持续图学习方法旨在用固定规模的同一组参数学习新 patterns 并维持旧 patterns，因此面临两者之间的根本权衡。本文提出用于动态图持续学习的参数隔离 GNN（PI-GNN），通过参数隔离与扩展规避该权衡。我们的动机在于不同参数有助于学习不同的图 patterns。基于该思想，我们扩展模型参数以持续学习涌现的图 patterns。同时，为有效保留未受影响 patterns 的知识，我们通过优化找到对应参数并将其冻结以防止被重写。在八个真实世界数据集上的实验证实了 PI-GNN 相较于最先进基线的有效性。
引用
@article{arxiv.2305.13825,
title = {Continual Learning on Dynamic Graphs via Parameter Isolation},
author = {Peiyan Zhang and Yuchen Yan and Chaozhuo Li and Senzhang Wang and Xing Xie and Guojie Song and Sunghun Kim},
journal= {arXiv preprint arXiv:2305.13825},
year = {2023}
}