图少样本类增量学习的高效存储模块
机器学习
2024-11-12 v1 人工智能
摘要
增量图学习因其解决图表示学习中灾难性遗忘问题的能力而受到广泛关注。然而，传统方法通常依赖大量节点分类标签，这在现实应用中不切实际。这使得图上的少样本增量学习成为迫切需求。现有方法通常需要来自元学习的大量训练样本来构建存储，并对 GNN 参数进行密集微调，导致高内存消耗和先前所学知识的潜在丢失。为应对这些挑战，我们提出 Mecoin，一种高效构建和维护存储的方法。Mecoin 采用结构化存储单元来缓存已学习类别的原型，以及存储构建模块来通过节点与缓存原型之间的交互更新这些新类别的原型。此外，我们设计了存储表示适配模块来存储每个类别原型关联的概率，减少参数微调的需求并降低遗忘率。当样本匹配其对应类别原型时，相关概率从 MRaM 中检索。知识随后通过图知识蒸馏模块回传至 GNN，从而保留模型的记忆。我们从泛化误差角度分析了 Mecoin 的有效性，并通过实验和 VC 维分析探讨了不同蒸馏策略对模型性能的影响。与其他相关工作相比，Mecoin 在准确率和遗忘率方面表现出优越性能。我们的代码公开发布于 https://github.com/Arvin0313/Mecoin-GFSCIL.git。
引用
@article{arxiv.2411.06659,
title = {An Efficient Memory Module for Graph Few-Shot Class-Incremental Learning},
author = {Dong Li and Aijia Zhang and Junqi Gao and Biqing Qi},
journal= {arXiv preprint arXiv:2411.06659},
year = {2024}
}
备注
16 pages, 6 figures, 38th Conference on Neural Information Processing Systems, 2024