中文

通过整体多样性存储分化实现图模型的连续复用

机器学习 2025-03-04 v2

摘要

本文解决了在日益复杂的任务下,对增长中的图进行增量学习的挑战。目标是通过记忆回放持续训练图模型,以处理新任务,同时保持对以前任务的熟练程度。现有方法通常忽视记忆多样性的重要性,限制了从以前的任务中选择高质量记忆以及在稀缺的图记忆中记住广泛的先前知识。为此,我们引入了一种新的整体多样化记忆选择与生成(DMSG)框架,用于图的增量学习。该框架首先引入一种考虑类内多样性和类间多样性的缓冲区选择策略,采用高效的贪婪算法从图中抽样代表性训练节点到记忆缓冲区,以学习每个新任务后。然后,引入多样化记忆生成回放方法,以充分记忆记忆缓冲区中保存的知识。该方法利用变分层生成缓冲区节点嵌入的分布并抽样合成嵌入进行回放。进一步提出了对抗性变分嵌入学习方法和基于重构的解码器,以维持合成节点嵌入的完整性并巩固其泛化能力。大量实验结果表明,\method{} 在公开数据集上优于当前最先进的方法。

关键词

引用

@article{arxiv.2406.07413,
  title  = {Towards Continuous Reuse of Graph Models via Holistic Memory Diversification},
  author = {Ziyue Qiao and Junren Xiao and Qingqiang Sun and Meng Xiao and Xiao Luo and Hui Xiong},
  journal= {arXiv preprint arXiv:2406.07413},
  year   = {2025}
}

备注

Accepted by ICLR 2025