通过增量蒸馈实现持续知识图谱嵌入

传统知识图谱嵌入(KGE)方法通常需要在新知识涌现时保留整个知识图谱(KG)，这会带来显著的训练成本。为此提出了持续知识图谱嵌入(CKGE)任务，通过高效学习新兴知识的同时保持相当的旧知识。然而，现有CKGE方法严重忽略了KGs中关键的显式图结构。在新KGs中，现有方法通常以随机顺序学习新三元组，破坏了新KGs的内部结构；而旧三元组则被等级重视，无法有效缓解灾难性遗忘现象。本文提出了一种基于增量蒸馈(IncDE)的竞争性CKGE方法，充分利用KGs中的显式图结构。首先，为优化学习顺序，我们引入分层策略，对新三元组进行排序进行分层学习。通过结合内部和外部层次顺序，新三元组基于图结构特征被分组到各层。其次，为有效保留旧知识，我们设计了一种新型增量蒸馈机制，促进实体表示从前一层无缝传递到下一层，推动旧知识保留。最后，我们采用两阶段训练范式，避免受未充分训练的新知识影响下的旧知识过度损坏。实验结果表明，IncDE 在SOTA基线上具有优势。值得注意的是，增量蒸馈机制在平均倒数排名(MRR)得分上提升了0.2%-6.5%。