用于持续图表示学习的层次化原型网络
机器学习
2021-12-01 v1
摘要
尽管图表示学习已取得显著进展，但更实用的持续学习场景却鲜受关注：其中新类别的节点（例如引文网络中的新研究领域，或共同购买网络中的新型产品）及其关联边不断出现，导致对先前类别的灾难性遗忘。现有方法要么忽略丰富的拓扑信息，要么为稳定性牺牲可塑性。为此，我们提出层次化原型网络（HPNs），以原型形式提取不同层次的抽象知识来表示持续扩展的图。具体而言，我们首先利用一组原子特征提取器（AFEs）编码目标节点的基本属性信息与拓扑结构。接着，我们构建 HPNs 自适应选择相关 AFEs，并用三个层次的原型表示每个节点。如此，每当给定新类别节点时，仅各层次相关的 AFEs 与原型被激活并精炼，其余保持不变以维持已有节点的性能。理论上，我们首先证明 HPNs 的内存消耗无论遇到多少任务均有界。然后，我们证明在温和约束下，学习新任务不会改变与先前数据匹配的原型，从而消除遗忘问题。理论结果得到五个数据集实验的支持，表明 HPNs 不仅优于最先进的基线技术，且消耗相对较少的内存。
引用
@article{arxiv.2111.15422,
title = {Hierarchical Prototype Networks for Continual Graph Representation Learning},
author = {Xikun Zhang and Dongjin Song and Dacheng Tao},
journal= {arXiv preprint arXiv:2111.15422},
year = {2021}
}