克服图神经网络中的灾难性遗忘
机器学习
2020-12-14 v1 人工智能
摘要
灾难性遗忘是指神经网络在学习新任务时“忘记”先前学到的知识的倾向。先前的方法集中于在卷积神经网络（CNNs）上克服此问题，其中图像等输入样本位于网格域中，但很大程度上忽视了处理非网格数据的图神经网络（GNNs）。在本文中，我们提出了一种专用于克服灾难性遗忘问题从而加强GNN中持续学习的新型方案。我们方法的核心是一个通用模块，称为拓扑感知权重保留（TWP），以即插即用的方式适用于任意形式的GNN。与基于CNN的持续学习方法主流仅依赖放缓对下游任务重要的参数更新不同，TWP显式探索输入图的局部结构，并试图稳定在拓扑聚合中起关键作用的参数。我们在多个数据集上的不同GNN骨干网络上评估TWP，并证明其性能优于当前最优。代码公开于\url{https://github.com/hhliu79/TWP}。
引用
@article{arxiv.2012.06002,
title = {Overcoming Catastrophic Forgetting in Graph Neural Networks},
author = {Huihui Liu and Yiding Yang and Xinchao Wang},
journal= {arXiv preprint arXiv:2012.06002},
year = {2020}
}
备注
Accepted by AAAI 2021