历史重演：克服以事件为中心时序知识图谱补全中的灾难性遗忘
机器学习
2023-05-31 v1 人工智能
计算与语言
摘要
时序知识图谱（TKG）补全模型通常依赖于训练时访问整张图。然而在真实场景中，TKG 数据常随事件展开而增量到达，导致随时间演化的动态非平稳数据分布。尽管可借助微调使现有方法适应演化的 TKG 数据，但这会导致对先前学习模式的遗忘。或者，用完整更新后的 TKG 重新训练模型可缓解遗忘，但计算负担沉重。为应对这些挑战，我们提出一种适用于任意 TKG 补全方法的通用持续训练框架，并利用了两个关键思路：（i）一种时间正则化，鼓励将较不重要的模型参数重新用于学习新知识；（ii）一种基于聚类的经验回放，通过仅选择性保留一小部分过去数据来强化过往知识。我们在广泛使用的以事件为中心的 TKG 数据集上的实验结果证明了我们所提持续训练框架在适应新事件同时减少灾难性遗忘方面的有效性。此外，我们进行消融实验以展示框架各组成部分的有效性。最后，我们探究了专用于经验回放的内存与基于聚类的采样策略所获收益之间的关系。
引用
@article{arxiv.2305.18675,
title = {History Repeats: Overcoming Catastrophic Forgetting For Event-Centric Temporal Knowledge Graph Completion},
author = {Mehrnoosh Mirtaheri and Mohammad Rostami and Aram Galstyan},
journal= {arXiv preprint arXiv:2305.18675},
year = {2023}
}
备注
14 pages, 6 figures