面向扩展网络持续学习的拓扑感知嵌入记忆

基于记忆重放的技术在处理增量累积的欧几里得数据持续学习中取得了巨大成功。然而，将其直接应用于不断扩展的网络中，由于需要缓存代表性节点及其关联的拓扑邻域结构，会导致潜在的内存爆炸问题。为此，我们系统分析了内存爆炸问题的关键挑战，并提出了一种通用框架，即具有拓扑感知嵌入记忆（TEM）的参数解耦图神经网络，以解决此问题。该框架不仅将内存空间复杂度从 $\mathcal{O}(nd^L)$ 降低至 $\mathcal{O}(n)$~\footnote{$n$: 内存预算, $d$: 平均节点度数, $L$: GNN 感受野半径}，还充分利用拓扑信息进行记忆重放。具体而言，PDGNNs 通过拓扑感知嵌入将可训练参数与计算自我子网络解耦，将自我子网络压缩为紧凑向量（即 TEs）以减少内存消耗。基于此框架，我们在扩展网络的持续学习中发现了一种独特的伪训练效应，该效应促使我们开发了一种新颖的覆盖最大化采样策略，能够在紧张的内存预算下提升性能。详尽的实证研究表明，通过解决内存爆炸问题并将拓扑信息纳入记忆重放，带有 TEM 的 PDGNNs 显著优于现有最先进的技术，尤其是在具有挑战性的类增量设置中。