面向增量图学习的动态专家混合模型
机器学习
2025-08-14 v1
摘要
图增量学习是一种旨在随时间适应不断增长的图数据和图结构而无需对完整数据集重新训练的学习范式。然而，常规的图机器学习方法在增量学习场景下会出现灾难性遗忘，即先前学习的知识被新知识所覆盖。以往的做法试图通过将已训练的模型视为不可分割的单元，并运用技术手段在学习新知识的同时维持旧行为来解决此问题。但这些方法未能考虑到，不同时间点获取的先前知识对学习新任务的贡献不同：某些先前模式可用于帮助学习新数据，而另一些则可能偏离新数据分布，反而有害。为此，我们提出一种面向增量学习的动态专家混合模型（DyMoE）。具体而言，DyMoE图神经网络层会添加新的专家网络，以专门建模新到达的数据块。我们设计了一种自定义的正则化损失函数，利用数据序列信息，使现有专家能够维持解决旧任务的能力，同时帮助新专家有效学习新数据。随着数据块数量随时间增长，完整的混合专家（MoE）模型的计算成本也随之上升。为此，我们引入稀疏MoE方法，仅让最相关的top-k个专家进行预测，从而显著降低计算时间。我们的方法在类别增量学习任务上相较于最佳基线实现了4.92%的相对精度提升，显示出卓越的模型性能。
引用
@article{arxiv.2508.09974,
title = {Dynamic Mixture-of-Experts for Incremental Graph Learning},
author = {Lecheng Kong and Theodore Vasiloudis and Seongjun Yun and Han Xie and Xiang Song},
journal= {arXiv preprint arXiv:2508.09974},
year = {2025}
}